获取全站用户,理论来说从1个用户作为切入点就可以,我们需要爬取用户的关注列表,从关注列表不断的叠加下去。
随便打开一个用户的个人中心
绿色圆圈里面的都是我们想要采集到的信息。这个用户关注0人?那么你还需要继续找一个入口,这个用户一定要关注了别人。选择关注列表,是为了让数据有价值,因为关注者里面可能大量的小号或者不活跃的账号,价值不大。
我选了这样一个入口页面,它关注了3个人,你也可以选择多一些的,这个没有太大影响!
https://juejin.im/user/55fa7cd460b2e36621f07dde/following
我们要通过这个页面,去抓取用户的ID
得到ID之后,你才可以拼接出来下面的链接
https://juejin.im/user/用户ID/following
爬虫编写
分析好了之后,就可以创建一个scrapy
项目了
items.py
文件,用来限定我们需要的所有数据,注意到下面有个_id = scrapy.Field()
这个先预留好,是为了mongdb
准备的,其他的字段解释请参照注释即可。
class JuejinItem(scrapy.Item):
_id = scrapy.Field()
username = scrapy.Field()
job = scrapy.Field()
company =scrapy.Field()
intro = scrapy.Field()
# 专栏
columns = scrapy.Field()
# 沸点
boiling = scrapy.Field()
# 分享
shares = scrapy.Field()
# 赞
praises = scrapy.Field()
#
books = scrapy.Field()
# 关注了
follow = scrapy.Field()
# 关注者
followers = scrapy.Field()
goods = scrapy.Field()
editer = scrapy.Field()
reads = scrapy.Field()
collections = scrapy.Field()
tags = scrapy.Field()
Python