Python爬虫scrapy系列（一）Bilibili分布式爬虫

一、背景：

爬取Bilibili用户信息及其发布过的视频信息，并进行数据清洗、分析、可视化

二、爬虫思路：

利用一个粉丝多的大v用户作为爆点，爬取用户信息、视频信息

三、数据去重问题：

利用用户粉丝的思路去爬取用户，必然会导致用户数据重复问题，我们可以巧妙地利用mongodb的存储机制，利用唯一的一个字段标识，可以既增量存储而又不重复的问题，这里我们利用用户id和视频id作为标识，数据不重复的存储到mongodb中。

四、具体使用：

源码其实很清晰，在github的Readme中有详细说明。

五、源码：

Biibili_Spider

六、数据可视化：

1.视频分类词云图

2.粉丝

3.性别

4.注册时间

5.签名词频

6.会员等级