关于scrapy的settings

scrapy的配置文件settings里面有很多配置，有的有默认值，有的被注释，有的本来有但是没有在这里显示，想要更详细的查看配置文件或默认配置，可以去看python目录下的Lib\site-packages\scrapy\settings，是scrapy的默认配置文件，所有配置都在这里。比如如果不知道scrapy重试中间件默认对哪些返回码重试，在这里面就有明确的代码
Lib\site-packages\scrapy\settings：

默认的下载中间件有哪些也看得很明确

其中重试中间件就是对RETRY_HTTP_CODES的返回码，重新请求一次
但注意上面的中间件在最终并不是都生效了，
比如默认settings文件的第一行有

代表着scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware这个中间件不启用，
关于每个中间件的具体作用，很有必要去python目录下的Lib\site-packages\scrapy\downloadermiddlewares看一看

在这里面都有很清晰的代码
关于每个配置项的作用，在scrapy文档https://doc.scrapy.org/en/latest/topics/settings.html?highlight=AJAXCRAWL_ENABLED都有写。