1、DOWNLOAD_DELAY
在settings中设置 DOWNLOAD_DELAY=2 #延时2秒,不能动态改变,导致访问延时都差不多,也容易被发现
2、RANDOMIZE_DOWNLOAD_DELAY
在settings中设置 RANDOMIZE_DOWNLOAD_DELAY=True # 启用后,当从相同的网站获取数据时,Scrapy将会等待一个随机的值,延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY
3、通过自动限速扩展
`
from scrapy.contrib.throttle import AutoThrottle
`
自动限速扩展能够根据Scrapy服务器及爬取的网站的负载自动限制爬取速度。
原理:在scrapy中,下载延迟是通过计算建立TCP连接到接收到HTTP包头(header)之间的时间来测量的。
使用的限速算法根据规则调整下载延迟及并发数:
(1)spider永远以1并发请求数及AUTOTHROTTLE_START_DELAY中指定的下载延迟启动
(2)当接收到回复时,下载延迟会调整到该回复的延迟与之间下载延迟之间的平均值
通过配置settings中的字段来开启自动限速扩展:
(1)AUTOTHROTTLE_ENABLED:默认为False,设置为True可以启用该扩展