scrapy多cookies+ip代理稳定爬取微博m站评论以及子评论
为了以后的深度学习可以爬取更多更好的语料以及其他资源,先拿weibo移动端试了下手(果然一进就全是坑~)1、分析weibo登陆以获取cookies1)预请求获取服务器信息2)构建请求登陆url3)登陆跳转2、m站请求隐藏细节1)分析请求注意事项3、scrapy开启爬取爬虫结果具体scrapy可以联系我获取哦~1、分析weibo登陆以获取cookies1)预请求获取服务器信息请求的urlpre_url = "http://login.sina.com.cn/sso/prelogin.php?en
原创
2020-06-09 11:31:58 ·
800 阅读 ·
0 评论