太阳软件带你温习：反爬手段有几何？

　　因为SEO的流行，网络爬虫技术已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网络站点都有自己的SEO，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网络站点来说，受到网络爬虫技术的光顾是不可避免的。

　　一些智能的SEO爬虫技术的抓取频率比较合理，对网络站点资源消耗比较少，但是很多糟糕的网络爬虫技术，对网络站点页面抓取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫技术对中小型网络站点往往是毁灭性打击，特别是一些缺乏爬虫技术编写经验的程序员写出来的爬虫技术破坏力极强，造成的网络站点访问压力会非常大，会导致网络站点访问速度缓慢，甚至无法访问。

　　一般网络站点从三个方面反爬虫技术：一般用户请求的Headers，一般用户行为，网络站点目录和数据加载方式。前两种比较容易遇到，大多数网络站点都从这些角度来反爬虫技术。第三种一些应用ajax的网络站点会采用，这样增大了抓取的难度。

　　 1 通过Headers反爬虫技术

　　从一般用户请求的Headers反爬虫技术是最常见的反爬虫技术策略。很多网络站点都会对Headers的User-Agent进行检测，还有一部分网络站点会对Referer进行检测(一些资源网络站点的防盗链就是检测Referer)。如果遇到了这类反爬虫技术机制，可以直接在爬虫技术中添加Headers，将浏览器的User-Agent复制到爬虫技术的Headers中;或者将Referer值修改为目标网络站点域名。对于检测Headers的反爬虫技术，在爬虫技术中修改或者添加Headers就能很好的绕过。

　　[评论：往往容易被忽略，通过对请求的抓包分析，确定referer，在程序中模拟访问请求头中添加]

　　 2 基于一般用户行为反爬虫技术

　　还有一部分网络站点是通过检测一般用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。

　　[评论：这种防爬，需要有足够多的ip来应对]

　　大多数网络站点都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫技术，抓取网上公开的代理ip，检测后全部保存起来。这样的代理ip爬虫技术经常会用到，最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib2中很容易做到，这样就能很容易的绕过第一种反爬虫技术。

　　[评论：动态拨号也是一种解决方案]

　　对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网络站点，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

　　[评论：对于账户做防爬限制，一般难以应对，随机几秒请求也往往可能被封，如果能有多个账户，切换使用，效果更佳]

　　 3 动态页面的反爬虫技术

　　上述的几种情况大多都是出现在静态页面，还有一部分网络站点，我们需要抓取的数据是通过ajax请求得到，或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。

　　[评论：感觉google的、IE的网络请求分析使用也挺好]

　　能够直接模拟ajax请求获取数据固然是极好的，但是有些网络站点把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网络站点就是这样，除了加密ajax参数，它还把一些基本的功能都封装了，全部都是在调用自己的接口，而接口参数都是加密的。遇到这样的网络站点，我们就不能用上面的方法了，我用的是selenium + phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。

　　[评论：支持phantomJS]

　　用这套框架几乎能绕过大多数的反爬虫技术，因为它不是在伪装成浏览器来获取数据(上述的通过添加 Headers一定程度上就是为了伪装成浏览器)，它本身就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。利用 selenium+phantomJS能干很多事情，例如识别点触式(12306)或者滑动式的验证码，对页面表单进行暴力破解等等。它在自动化渗透中还 会大展身手，以后还会提到这个。

　　反爬和爬虫相辅相生，爬虫如果想要正常的运行还需要代理ip的辅助，同时让爬虫的行为充分模拟正常用户的行为，这样才是利人利己的好爬虫。——太阳换ip软件

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31561288/viewspace-2624939/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31561288/viewspace-2624939/