本文探讨了网络爬虫与网站反爬虫之间的战争。网站采取了包括通过UA、IP频率、Cookie判断、动态加载和验证码等方式来防御爬虫。而爬虫工程师则通过设置请求间隔、使用代理IP等手段进行反反爬。文中还介绍了User-Agent的基本知识以及如何构造请求头。
对于很多一般用户来说，网络爬虫是一个好工具，可以很方便地从网站上获取自己想要的信息。而对于网页来说，网络爬虫占用了太多资源，也没可能从中获得更多的点击量，增加广告收入。根据有关调查，网络上有60%的访问量都是网络爬虫造成的，也难怪网站方对网络爬虫“恨之入骨”。
为了阻止网络爬虫从网页上爬取数据，网站方采取了各种反爬虫策略，欲“杀之而后快”。但网络高手们也毫不示弱，相继改进网络爬虫，赋予爬虫更高的爬取效率、更快的速度以及更隐蔽的爬取手段。在这场战争中，双方的比分十分胶着，但最后又鹿死谁手呢？
01
服务器的防御
爬虫是模拟人的浏览访问行为，对数据进行批量抓取。当抓取的数据量逐渐增大时，会给被访问的服务器造成很大的压力，甚至造成崩溃。因此，服务器是不喜欢有人抓取自己的数据的，那么，网站会针对这些爬虫者，采取一些 反爬策略。02
常见的防御手段
一般来说，爬虫工程师在爬取稍微正规一点的网站，都会受到反爬虫的制约。反爬虫主要有以下几种方式：
最低0.47元/天 解锁文章
2744
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
