python爬虫学习笔记之常见反爬虫策略及应对技巧

python爬虫学习笔记之常见反爬虫策略及应对技巧
原创KaiSarH 最后发布于2019-11-08 19:35:28 阅读数 113  收藏
展开
本文是我在使用网易云课堂学习日月光华老师讲的“Python爬虫零基础入门到进阶实战”课程所做的笔记，如果大家觉得不错，可以去看一下老师的视频课，讲的还是很棒的。
常见反爬虫策略：
一、通过Headers反爬虫
二、基于用户行为反爬虫
三、动态页面反爬虫
四、Else
应对反爬虫的方法：
1、设置Headers
2、使用IP代理或加大请求间隔时间
3、使用Selenium框架

1. 通过识别用户代理(Headers) 反爬虫
应对：设置Headers(User-Agent)。基本所有的爬虫都要设置Headers，不然很容易被反爬虫识别。

2. 基于用户行为反爬虫
检测用户行为，比如短时间快速爬取
应对：使用IP代理或加大请求间隔时间，如果请求间隔时间固定，有可能也会被检查出来。

2.1 代理IP
所谓代理IP，就是代理用户去取得网络信息的IP地址。代理IP可以帮助爬虫掩藏真实身份，突破IP访问限制，隐藏爬虫的真实IP，从而避免被网站反爬虫禁止。

2.2 Requests中使用代理IP的方法
在get方法中加入proxies属性。
代理IP组成的字典{
              请求方式：代理IP地址
}
ps:字典小知识：字典用键值对存储数据，如果多个key名相同，那么最后一个有效。
因此，如果代理IP地址很多，可以每一个代理IP设置为一个字典，最后所有的代理IP设置为一