爬虫与反爬虫

什么是爬虫和反爬虫？
当我们在浏览器中输入一个url后回车，后台会发生什么？
常见的反爬虫机制有哪些？
破解反爬虫机制的几种方法？
爬取需要注意哪些问题？

---

什么是爬虫和反爬虫？

• 爬虫：使用任何技术手段，批量获取网站信息的一种方式。

• 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。

从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里只讨论数据采集部分

当我们在浏览器中输入一个url后回车，后台会发生什么？

  简单来说这段过程发生了以下四个步骤：
    1.查找域名对应的IP地址。
    2.向IP对应的服务器发送请求。
    3.服务器响应请求，发回网页内容。
    4.浏览器解析网页内容。
具体详细解析可参考输入网址背后发生的那些事
  网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据，而不需要一步步人工去操纵浏览器获取。

常见的反爬虫机制有哪些？

• 通过use-agent识别爬虫
 有些爬虫的use-agent是特殊的，与正常浏览器的不一样，可通过识别特征use-agent，直接封掉爬虫请求。

• 设置IP访问频率，如果超过一定频率，弹出验证码
 如果输入正确的验证码，则放行，如果没有输入，则拉入禁止一段时间，如果超过禁爬时间，再次出发验证码，则拉入黑名单。当然根据具体的业务，为不同场景设置不同阈值，比如登陆用户和非登陆用户，请求是否含有refer。

• 通过并发识别爬虫
 有些爬虫的并发是很高的，统计并发最高的IP，加入黑名单。

• 请求的时间窗口过滤统计
 爬虫爬取网页的频率都是比较固定的，不像人去访问网页，中间的间隔时间比较无规则，所以我们可以给每个IP地址建立一个时间窗口，记录IP地址最近12次访问时间，每记录一次就滑动一次窗口，比较最近访问时间和当前时间，如果间隔时间很长判断不是爬虫，清除时间窗口，如果间隔不长，就回溯计算指定时间段的访问频率，如果访问频率超过阀值，就转向验证码页面让用户填写验证码。

• 限制单个ip/api token的访问量
 比如15分钟限制访问页面180次，对于抓取用户公开信息的爬虫要格外敏感。

• 识别出合法爬虫
 对http头agent进行验证，是否标记为、百度的spider，严格一点的话应该判别来源IP是否为、baidu的爬虫IP，这些IP在网上都可以找到。校验出来IP不在白名单就可以阻止访问内容。

• 动态页面Ajax请求
 使用Ajax（Asynchronous Javascript And XML）来传输很多数据。
 传统的网页（不使用 Ajax）如果需要更新内容，必须重载整个网页页面。
 它的工作原理是：从网页的url加载网页的源代码之后，会在浏览器里执行JavaScript程序。这些程序会加载更多的内容，“填充”到网页里。
 这就是为什么如果你直接去爬网页本身的url，你会找不到页面的实际内容。

• 蜜罐资源
  爬虫解析离不开正则匹配，适当在页面添加一些正常浏览器浏览访问不到的资源，一旦有ip访问，过滤下头部是不是搜素引擎的蜘蛛，不是就可以直接封了。比如说隐式链接。

破解反爬虫机制的几种方法？

• 策略1：设置下载延迟，
 比如数字设置为5秒，越大越安全。

• 策略2：禁止Cookie，
 某些网站会通过Cookie识别用户身份，禁用后使得服务器无法识别爬虫轨迹。

• 策略3：使用user agent池。
 也就是每次发送的时候随机从池中选择不一样的浏览器头信息，防止暴露爬虫身份。

• 策略4：使用IP池
 这个需要大量的IP资源，可以通过抓取网上免费公开的IP建成自有的IP代理池。

• 策略5：模拟登录—浏览器登录的爬取
 设置一个cookie处理对象，它负责将cookie添加到http请求中，并能从http响应中得到cookie，向网站登录页面发送一个请求Request, 包括登录url，POST请求的数据，Http header利用urllib2.urlopen发送请求，接收WEB服务器的Response。

• 策略6：分布式爬取，
 这个是针对大型爬虫系统的，实现一个分布式的爬虫，主要为以下几个步骤：
  1、基本的http抓取工具，如scrapy；
  2、避免重复抓取网页，如Bloom Filter；
  3、维护一个所有集群机器能够有效分享的分布式队列；
  4、将分布式队列和Scrapy的结合；
  5、后续处理，网页析取(如python-goose)，存储(如Mongodb)。

爬取需要注意哪些问题？

• 如何监控一系列网站的更新情况，也就是说，如何进行增量式爬取？

• 对于海量数据，如何实现分布式爬取？

心得：注意配合移动端、web端以及桌面版