反爬虫策略及破解方法
爬虫和反爬的对抗一直在进行着…为了帮助更好的进行爬虫行为以及反爬，今天就来介绍一下网页开发者常用的反爬手段。
1. BAN IP：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。
解决方法：此种方法极其容易误伤其他正常用户，因为某一片区域的其他用户可能有着相同的IP，导致服务器少了许多正常用户的访问，所以一般运维人员不会通过此种方法来限制爬虫。不过面对许多大量的访问，服务器还是会偶尔把该IP放入黑名单，过一段时间再将其放出来，但我们可以通过分布式爬虫以及购买代理IP也能很好的解决，只不过爬虫的成本提高了。
2. BAN USERAGENT：很多的爬虫请求头就是默认的一些很明显的爬虫头python-requests/2.18.4，诸如此类，当运维人员发现携带有这类headers的数据包，直接拒绝访问，返回403错误
解决方法：直接r=requests.get(url,headers={'User-Agent':'Baiduspider'})把爬虫请求headers伪装成百度爬虫或者其他浏览器头就行了。
案例：雪球网
返回的就是403403 Forbidden.
Your IP Address:xxx.xxx.xxx.xxx.但是当我们这样写：
返回的就是200< !DOCTYPE html><html …
3. BAN COOKIES:服务器对每一个访问网页的人都set-cookie，给其一个cookies，当该cookies访问超过某一个阀值时就BAN掉该COOKIE，过一段时间再放出来，当然一般爬虫都是不带COOKIE进行访问的，可是网页上有一部分内容如新浪微博是需要用户登录才能查看更多内容。
解决办法：控制访问速度，或者某些需要登录的如新浪微博，在某宝上买多个账号，
本文介绍了网页开发者常用的反爬虫策略，包括BAN IP、BAN USERAGENT、BAN COOKIES、验证码验证、javascript渲染、ajax异步传输和加速乐等，并针对这些策略提出了相应的破解方法，如分布式爬虫、更换USERAGENT、处理验证码、模拟浏览器渲染、抓包分析等。
最低0.47元/天 解锁文章
6348
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
