本文探讨了网络爬虫对网站的影响，解释了为何需要反爬虫，并介绍了多种识别和拒绝爬虫的方法，如检查HTTP请求头、限制内容开放、记录用户行为以及在协议中声明权利。
今天来谈谈关于反爬虫的东西。
随着大数据时代的来临，无论是个人还是企业，对于数据的需求都越来越大。这种需求也催生了如今异常热门的数据产业，也催生了日益完善的网络数据采集技术。
这种需求的扩大， 同时让网络爬虫日益猖獗，猖獗到甚至影响到了网站和APP的正常运行。
高频的网络爬虫行为无异于DDOS(分布式拒绝服务)攻击，虽然法律可以治它，但是其过程之繁琐，还是不如先让网站自身充分地强大起来。
为了便于基础薄弱的同学理解，我们先看一个基本的网站访问链路图：
这其中包含了我们从个人电脑的浏览器上访问一个网页所涉及的所有部件。同时我们可以将其简化为下图：
一、为什么要反爬虫?
在设计反爬虫系统之前，我们先来看看爬虫会给网站带来什么问题?
本质上来说，互联网上可以供人们浏览、查看和使用的网站及其网站上的数据，都是公开和允许获取的，所以并不存在于所谓的“非法授权访问”问题。
爬虫程序访问网页和人访问网页没有本质区别，都是由客户端向网站服务器发起HTTP请求，网站服务器接收到请求之后将内容响应返回给客户端。
只要是发起请求，网站服务器必然要进行响应，要进行响应，必然要消耗服务器的资源。
网站的访问者与网站之间是互相互惠互利的关系，网站为访问者提供了自己所需要的必要的信息和服务，而访问者也为
最低0.47元/天 解锁文章
1221
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
