怎样反爬虫和控制爬虫的速度

爬虫的工作人员都知道，爬虫的速度并不是越快越好。如果爬虫采集的速度越快，就越容易被发现，也就越容易被封IP。那么，怎么合理控制爬虫速度呢？
一般情况，可以对每个页面抓取之间的延迟设置为最大来控制频率，这样不会给服务器造成负担，也不会因访问频繁被封。但这种方法会导致抓取的速度较慢，如果有大量抓取任务，会严重影响效率。
有一种自然的解决方法就是等待时间动态变化，最小的时间间隔减去网页读取的时间，这样无论在网络流畅还是网络较差的时候，网页都是最小的时间间隔。但这种方法只适合单线程的爬虫小规模网站。
还有一种方法就是PID控制算法，不用通过计算的方法就可以控制爬虫的速度，简单说就是当爬虫速度过快的时候，就会增加延时的时间。当速度过慢的时候，也会自动减小延时的时间。

下面是从setting中设置以达到反爬虫和控制爬虫的速度：

1.修改是否遵守爬虫协议为False

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

2.修改并发请求数，修改为1，或者2，越小爬取速度越慢，太快容易被识别到

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 1

3.修改下载延迟时间，DOWNLOAD_DELAY设置越大请求越慢

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3
#默认False;为True表示启用AUTOTHROTTLE扩展
AUTOTHROTTLE_ENABLED = True
#默认5秒;初始下载延迟时间
AUTOTHROTTLE_START_DELAY = 1
#默认60秒；在高延迟情况下最大的下载延迟
AUTOTHROTTLE_MAX_DELAY = 3

4.开启中间键

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'askdoctor.middlewares.AskdoctorDownloaderMiddleware': 543,
}

5.开启PIPELINES，一般在要存储数据的时候开启

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'askdoctor.pipelines.AskdoctorPipeline': 300,
}

6.开启如下设置

# Enable and configure HTTP caching (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#开启本地缓存
HTTPCACHE_ENABLED = True
#将http缓存延迟时间
HTTPCACHE_EXPIRATION_SECS = 1
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

爬取的过程中遇到一个问题就是，如果爬取页面设置为从page1到page10000,爬取的结果有很多漏掉的。然后将设置修改为如上，还是会有漏掉的。
​ 最后我的解决办法是将DOWNLOAD_DELAY 时间设置的更大一些。
如果各位大佬有更好的解决办法可以留言，非常感谢！！！