爬虫爬取微博用户粉丝及其关注
前言
前段时间做了一个爬虫爬取微博用户粉丝及其关注的小项目,但忙着中期毕设答辩忘了加以记录了。对于动态网页的解决办法是使用selenium(上手比较快,而且抓包实在太麻烦了hhhhh我就还没学)。
关于selenium爬虫的学习:
项目
github地址:https://github.com/hit-thusz-RookieCJ/crawler_for_weibo_fans
简介
本项目通过selenium库爬取指定微博用户的关注、粉丝相关数据(昵称、性别、简介、地域、年龄、星座、学校、公司)。
需要注意的是,新浪微博网页版(https://weibo.com) 的查看粉丝存在数目限制(最多5页),因此在这里我们通过https://weibo.cn, 来爬取更多的粉丝数据。
Pipeline
- python get_cookie.py,而后在浏览器上登录,获取相关cookie信息,使得我们之后爬取信息时候可以自动登录
- 在selenium_crawler.py中填写需要搜索的用户名称后,python selenium_crawler.py