python爬虫学习笔记之常见反爬虫策略及应对技巧
原创KaiSarH 最后发布于2019-11-08 19:35:28 阅读数 113 收藏
展开
本文是我在使用网易云课堂学习日月光华老师讲的“Python爬虫零基础入门到进阶实战”课程所做的笔记,如果大家觉得不错,可以去看一下老师的视频课,讲的还是很棒的。
常见反爬虫策略:
一、通过Headers反爬虫
二、基于用户行为反爬虫
三、动态页面反爬虫
四、Else
应对反爬虫的方法:
1、设置Headers
2、使用IP代理或加大请求间隔时间
3、使用Selenium框架
1. 通过识别用户代理(Headers) 反爬虫
应对:设置Headers(User-Agent)。基本所有的爬虫都要设置Headers,不然很容易被反爬虫识别。
2. 基于用户行为反爬虫
检测用户行为,比如短时间快速爬取
应对:使用IP代理或加大请求间隔时间,如果请求间隔时间固定,有可能也会被检查出来。
2.1 代理IP
所谓代理IP,就是代理用户去取得网络信息的IP地址。代理IP可以帮助爬虫掩藏真实身份,突破IP访问限制,隐藏爬虫的真实IP,从而避免被网站反爬虫禁止。
2.2 Requests中使用代理IP的方法
在get方法中加入proxies属性。
代理IP组成的字典{
请求方式:代理IP地址
}
ps:字典小知识:字典用键值对存储数据,如果多个key名相同,那么最后一个有效。
因此,如果代理IP地址很多,可以每一个代理IP设置为一个字典,最后所有的代理IP设置为一