scrapy的settings文件配置

我安装的scrapy是 2.4.1 版本的，现在把settings文件里面的参数全部拿出来并对应着找到他们代表的含义。

项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名

# BOT_NAME = 'spidername'

爬虫应用路径

# SPIDER_MODULES = ['spidername.spiders']
# NEWSPIDER_MODULE = 'spidername.spiders'

客户端User-Agent请求头，这里是默认的值

# USER_AGENT = 'spidername (+http://www.yourdomain.com)'

是否遵循爬虫协议

# ROBOTSTXT_OBEY = False

下载器总共最大处理的并发请求数，默认值16

# CONCURRENT_REQUESTS = 32

如果没有开启智能限速，这个值就代表一个规定死的值，代表对同一网址延迟请求的秒数

# DOWNLOAD_DELAY = 3

每个域名能够被执行的最大并发请求数目，默认值8

# CONCURRENT_REQUESTS_PER_DOMAIN = 16

能够被单个IP处理的并发请求数，默认值0，代表无限制，如果不为零，将影响CONCURRENT_REQUESTS_PER_DOMAIN和DOWNLOAD_DELAY的限制情况

# CONCURRENT_REQUESTS_PER_IP = 16

是否支持cookie，cookiejar进行操作cookie，默认开启

# COOKIES_ENABLED = False

指定是否启用telnet控制台

# TELNETCONSOLE_ENABLED = False

Scrapy发送HTTP请求默认使用的请求头

# DEFAULT_REQUEST_HEADERS = {

#    'Accept': 'text/html',

#    'Accept-Language': 'en',

# }

包含项目中启用的spider中间件及其命令的字典

# SPIDER_MIDDLEWARES = {

#     'test_spider.middlewares.TestSpiderSpiderMiddleware': 543,

# }

Scrapy中默认启用的下载程序中间件的字典。低值更接近引擎，高值更接近下载器

# DOWNLOADER_MIDDLEWARES = {

#     'test_spider.middlewares.UserAgentDownloaderMiddleware': 543,

# }

包含项目中启用的扩展及其顺序的字典

# EXTENSIONS = {

#     'scrapy.extensions.telnet.TelnetConsole': None,

# }

包含要使用的项目管道及其顺序的字典。值是任意的，但是习惯上将它们定义在0-1000范围内。低值优先于高值

# ITEM_PIPELINES = {

#     'test_spider.pipelines.TestSpiderPipeline': 300,

# }

智能限速/自动节流

开启智能限速/自动节流，默认False不开启

# AUTOTHROTTLE_ENABLED = True

起始的延迟

# AUTOTHROTTLE_START_DELAY = 5

最大延迟

# AUTOTHROTTLE_MAX_DELAY = 10

每秒并发请求数的平均值，不能高于CONCURRENT_REQUESTS_PER_DOMAIN或CONCURRENT_REQUESTS_PER_IP，实际并发请求数目可能高于或低于该值，视爬虫情况而定

# AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0

调试

# AUTOTHROTTLE_DEBUG = False

缓存

是否启用缓存策略

# HTTPCACHE_ENABLED = True

缓存超时时间

# HTTPCACHE_EXPIRATION_SECS = 0

缓存保存路径

# HTTPCACHE_DIR = 'httpcache'

缓存忽略的Http状态码

# HTTPCACHE_IGNORE_HTTP_CODES = []

缓存存储的插件

# HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'