本文介绍了在Scrapy项目中，如何在Spider、Middleware和Pipeline中分别获取settings.py的参数。详细讲解了settings的优先级，包括命令行选项、项目设定、命令默认设定和全局默认设定。并通过实例展示了在Spider的parse函数、Middleware和Pipeline中获取settings的方式。同时提到了get_project_setting()方法的优缺点，虽然简单但无法识别命令行传入的高优先级参数。
运行环境
PyCharm 2018.1
Scrapy 1.5.1
Python 3.5.4
Windows 10
settings的优先级
官方文档中scrapy中settings参数有四个级别：
- 命令行选项(Command line Options)(最高优先级)
- 项目设定模块(Project settings module)
- 命令默认设定模块(Default settings per-command)
- 全局默认设定(Default global settings) (最低优先级)
Spider
- 在parse()函数中获取settings
def parse(self, response):
print(self.settings.get('CONFIG_KEY'))
- 在实例化spider时获取settings:
class MySpider(scrapy.Spider):
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
