优秀的爬虫策略有哪些特性?

经常使用代理IP的爬虫工作者都知道，互联网上拥有海量的数据，对应的爬虫工作量非常艰巨，所以爬虫程序的性能至关重要。不同网站对应的爬虫策略各不相同，那么优秀的爬虫策略都具备哪些特性呢？

1.友好性

爬虫的友好性有两个含义：一是保护目标网站的部分私密性，二是减少目标网站的网络负载。对于网站所有者来说，有些内容是不希望被泄露的，一般会有robot.txt文件来指定禁止爬取的内容，或者在HTML代码里加入 meta name="robots"标记。友好的爬虫，一定会遵守这个协议。

2.高性能

高性能指的是指爬虫的高效性、稳定性、持续性，单位时间内能稳定持续爬取的网页越多，那么爬虫的性能就越高。要提高爬虫的性能，在程序设计时对数据结构的选择尤为重要，同时爬虫的策略以及反反爬虫的策略也不容忽视，并且需要利用天启代理IP这类优质的代理IP来辅助爬虫工作。

3.可扩展性

即使单个爬虫的性能提高了，但面对海量的数据依然需要相当长的周期，为了尽量缩短爬虫的任务周期，爬虫系统还应该有很好的扩展性，可以通过增加抓取服务器和爬虫数量来达到目的。每台服务器部署多个爬虫，每个爬虫多线程运行，通过多种方式增加并发性，也就是分布式爬虫。

 

上一篇:Python爬虫和反爬虫的斗争

下一篇:Python爬虫推荐用什么框架？