金刚龙123的专栏

原创 网络爬虫对对方服务器造成的压力到底有多大(汇总整理)

一些大型的网站都会有robot.txt，这算是与爬虫者的一个协议。只要在robot.txt允许的范围内爬虫就不存在道德和法律风险，只不过实际上的 爬虫者一般都不看这个。控制采集速度。过快的采集会对网站服务器造成不小的压力，如果是性能差的小站可能就会被这么搞垮了。因此放慢采集速度相当于各退一 步，既给网站减轻压力，也降低自己被封禁的风险。爬虫目前在法律上尚属灰色地段，但爬别的网站用于自己的商业化用途