![6b317806c87a961561b2afd9429d8771.gif](https://i-blog.csdnimg.cn/blog_migrate/4c475b604e8e51a2869e2843d921a298.gif)
对于很多一般用户来说,网络爬虫是一个好工具,可以很方便地从网站上获取自己想要的信息。而对于网页来说,网络爬虫占用了太多资源,也没可能从中获得更多的点击量,增加广告收入。根据有关调查,网络上有60%的访问量都是网络爬虫造成的,也难怪网站方对网络爬虫“恨之入骨”。
为了阻止网络爬虫从网页上爬取数据,网站方采取了各种反爬虫策略,欲“杀之而后快”。但网络高手们也毫不示弱,相继改进网络爬虫,赋予爬虫更高的爬取效率、更快的速度以及更隐蔽的爬取手段。在这场战争中,双方的比分十分胶着,但最后又鹿死谁手呢?
01
服务器的防御
爬虫是模拟人的浏览访问行为,对数据进行批量抓取。当抓取的数据量逐渐增大时,会给被访问的服务器造成很大的压力,甚至造成崩溃。因此,服务器是不喜欢有人抓取自己的数据的,那么,网站会针对这些爬虫者,采取一些 反爬策略。02
常见的防御手段
一般来说,爬虫工程师在爬取稍微正规一点的网站,都会受到反爬虫的制约。反爬虫主要有以下几种方式: