常见反爬虫措施及其解决方案

反爬虫措施：

常见的反爬措通常来说有三种：

• 通过分析用户请求的Headers信息进行反爬虫。
• 通过判断同一个IP在短时间内是否频繁访问对应网站
• 通过动态页面增加爬取的难度，达到反爬虫的目的。

解决方案：

1. 如果遇到了Header这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者使用selenium+phantomJS ；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。
2. 如果遇到根据用户行为反爬虫这类反爬虫机制，可以这样解决：

• 第一种。使用代理池(可以使用flask+redis维护动态代理池)。网上有许多公开的代理ip，可以单独写一个爬虫把这些ip爬取下来，保存好，以后会经常使用。有了大量的ip后请求几次之后就可以更换ip。
• 第二种。每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

3. 如果遇到动态页面这类反爬虫机制，可以这样解决：

• 首先用Firebug或者HttpFox对网络请求进行分析
• 如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。
• 能够直接模拟ajax请求获取数据固然是极好的，但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。遇到这样的网站，我们就不能用上面的方法了。
• 采用selenium+phantomJS框架
  调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。