深入分析微博密码加密and百万级数据采集分享（登录篇）
目录
一、前言
二、登陆
一、前言
此文章主要是对微博微博关键词的检索结果进行采集，但是微博的采集需要登陆，所以此程序分为登陆程序和爬虫程序两部分；
微博要实现规模性数据采集自然少不了大量账号，这就需购买大量账号以及批量登陆，但是都买的账号都会对IP进行限制（一个ip下面最多登陆两个账号），所以无法实现批量登录，只能将采集程序与登录程序以1:1的形式部署多个节点，通过调用关键词任务分发接口...
原创
2019-12-07 21:41:20 ·
1313 阅读 ·
10 评论
关注
分享
扫一扫