Scrapy常用命令

一、全局命令

1-startproject

创建一个新的Scrapy项目：

scrapy startproject <project_name> [project_dir]

例如：scrapy startproject Crawler51job

【注意】项目名称不能以数字开头 

2-genspider

在当前文件夹或者当前项目，创建一个新的爬虫文件

scrapy genspider [-t template] <name> <domain>

例如：scrapy genspider -t basic spider51job 51job.com

其他template参数见帮助文档

3-runspider

运行一个爬虫文件

scrapy runspider <spider_file.py>

例如;scrapy runspider test51job.py

4-fetch

获取指定的URL，并且能够显示出获取的过程

scrapy fetch <url>

例如：scrapy fetch https://www.baidu.com

5-view

在浏览器中打开指定的URL

scrapy view <url>

scrapy view https://www.baidu.com

6-version

打印出Scrapy版本号

scrapy version [-v]

scrapy version -v

二、项目命令

1-crawl

运行爬虫项目

scrapy crawl <spider>

例如：scrapy crawl spider51job [--nolog]

2-bench

测试本地硬件性能

scrapy bench

3-list

列出当前项目下的所有爬虫文件

scrapy list