爬虫与反爬虫

基本概念说明

爬虫：自动获取网站数据的程序，关键是批量获取。

反爬虫：使用技术手段防止爬虫程序的方法。

误伤：反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用。

比如：系统检测到有一个IP频繁的访问一个网站，那么可以直接禁止该IP访问。一般网站是不会采取这种方式的，为什么呢？一个学校或者一个网吧，它对外的IP只有一个或者几个，所有学校里面都是内部的局域网，某个学生写了一个爬虫，发送出去的是学校公网的IP，这个IP一旦被禁止，学校所有学生都上不了网了。其次，IP其实是一个动态的IP，如小区里面或者片区的局域网是动态分配的。路由器重启以后，我们的IP地址有时候是会变的。所以网站采取的策略是，禁止某一个频繁访问的IP在一定时间内的访问。

成本：反爬虫需要的人力和机器成本

拦截：成功拦截爬虫，一般拦截率越高，误伤越高。

 

反爬虫的目的是什么？

当我们发现页面的浏览量百分之80都是爬虫的时候，这个问题就很严重。

初级爬虫：简单粗暴的爬虫，这种爬虫量多，同时也是最好判断的。它们不管服务器压力，容易弄挂网站。

数据保护：有产权的数据。

失控的爬虫：由于某些情况下，忘记或者无法关闭爬虫。其实它已经不再使用了，但还是不停的向我们的网络发起请求。

商业竞争对手：京东和淘宝。

 

爬虫和反爬虫的对抗过程