第7章 配置与管理
前面章节讲解了使用Scrapy开发一个简单爬虫,并用它从网络上抽取数据是多么简单。Scrapy包含很多工具和功能,可以通过设置使它们可用。对于许多软件框架来说,设置是“令人讨厌的东西”,因为它需要根据系统如何运转进行调整。而对于Scrapy来说,设置则是其最重要的基本机制之一,除了调优和配置外,还可以启用功能,以及允许我们扩展框架。我们不打算与优秀的Scrapy文档竞争,只想辅助你更快地浏览设置概况,并找出与你最相关的内容。当你准备在生产环境中进行变更之前,请仔细阅读Scrapy文档。
7.1 使用Scrapy设置
在Scrapy中,可以按照5个递增的优先级修改设置。我们将会依次看到这 5 个等级。第一级是默认设置,通常不需要修改它,不过scrapy/settings/default_settings.py
(在系统的Scrapy源代码或Scrapy的GitHub中可以找到)中的代码确实值得一读。默认设置在命令级别中得以优化。实际上,除非想要实现自定义命令,否则无需考虑它。通常情况下,我们只会在命令级别下一级的项目<project_name>/settings.py
文件中修改设置。这些设置只应用于当前项目。该级别最为方便,因为当我们将项目部署到云服务时,sett