爬虫的一些经验和思考

微博爬虫的一些经验和思考

1. 总结

如果量不大，大型网站(微博，知乎)，建议直接使用路线2，省时省力
如果量不大，小型网站(反爬策略弱)，直接路线1

2. todos

1. 分布式爬虫

• 自建框架
• scrapy

2. 抓包，爬取app数据

3. 基本路线

1. requests: 需要手动寻找请求, 高频依赖代理,useragent,cookie

• 构造Header头时需重点关注Referer和Useragent

2. selenium + chromedriver: 频率不高或网页结构复杂

• 针对微博两次请求可以间隔十秒

4. cookie

• 登录后手动获取
  • 注意:登出后可能失效
• 自动登录获取
  • selenium 模拟登录获取(推荐)
  • requests 模拟请求

5. 代理

• 购买付费代理

• 抓取免费代理: 质量十分差

• 进阶:构建代理池

6. 验证码

• 打码平台: 省事，便宜

• 进阶: 机器学习验证码识别

7. Others

1. 两次请求之间随机睡眠

8. 一些好的教程

• https://cuiqingcai.com/category/technique/python
• https://blog.csdn.net/bone_ace/article/category/6409215/1