python反爬虫技术及其应对

通常见到的反爬虫技术大致可以分为如下几类:

1.请求头headers
2.用户操作的网站行为
3.网站目录数据加载方式
4.数据加密
5.验证码识别

最为头疼的就是验证码识别，暂时没有完美的解决方案。

最简单的当属第一类：基于用户请求的headers
可以添加headers请求头，将浏览器信息以字典的数据形式写入爬虫代码的请求头。

第二类，基于用户操作网站行为，这相当于将爬虫伪装为一个人的行为在浏览页面(比方说，一个人不可能在1秒钟能同时打开十个以上的网页)。
可以使用IP代理，每请求几次就换一个IP，这样可以绕过IP检测机制；可以使用time模块的延迟机制，隔几秒请求一次，再隔几秒请求一次。总的意思，相当于模拟人在操作。

第三类，基于网站目录数据加载
一般来说，是Ajax通过访问接口的方式生成数据，我们分析网站设计，找到Ajax请求，解析数据结构及其含义，爬虫模拟Ajax请求。

第四类，基于数据加密
一般是使用JavaScript实现加密代码，我们需要分析代码的加密方式，然后在爬虫代码中模拟其加密方式，再次发送请求。但是有一点，