Scrapy常用命令
命令 | 说明 | 格式 |
startproject | 创建一个新工程 | scrapy startproject<name>[dir] |
genspider | 创建一个爬虫 | scrapy genspider [options]<name><domain> |
settings | 获得爬虫配置信息 | scrapy settings [options] |
crawl | 运行一个爬虫 | scrapy crawl <spider> |
list | 列出工程中所有爬虫 | scrapy list |
shell | 启动URL调试命令行 | scrapy shell [url] |
Scrapy爬虫的命令行逻辑
为什么Scrapy采用命令行创建和运行爬虫?
*命令行(不是图形界面)更容易自动化,适合脚本控制。
*本质上,Scrapy是给程序员用的,功能(而不是界面)更重要。