Scrapy学习过程之七：命令行工具

参考：https://docs.scrapy.org/en/latest/topics/commands.html

Configuration settings

关于scrapy命令行工具的配置文件，其格式为ini。配置文件存在于以下几个地方：

1. /etc/scrapy.cfg or c:\scrapy\scrapy.cfg　这个是系统级配置文件
2. ~/.config/scrapy.cfg ($XDG_CONFIG_HOME) and ~/.scrapy.cfg 　这个是用户级
3. 项目内的scrapy.cnf，项目级。

原来项目内自动生成的scrapy.cnf是用来配置scrapy命令行工具的。

上边三个优先级由低到高，最终的配置是三个文件合并的结果。

scrapy命令行可也可通过环境变量配置，这个后边再说。

Default structure of Scrapy projects

默认的scrapy项目的目录结构：

scrapy.cfg
myproject/
    __init__.py
    items.py
    middlewares.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

里边有一项，指向项目中的setting.py文件，后者是python代码文件，里边也全是关于配置的：