一、全局命令
1、startproject:创建项目
scrapy startproject projectname
2、shell:启动交互终端
scrapy shell url
3、fetch:显示爬取过程
scrapy fetch url
4、runspider:运行爬虫
scrapy runspider spidername
5、settings:查看配置信息(类似于settings.py)
scrapy settings
6、version:显示版本信息
scrapy version
7、view:下载网页并查看
scrapy view url
二、项目命令
1、genspider:快速创建爬虫
scrapy genspider -l:查看模板种类
scrapy genspider -t module spidername url:模板创建爬虫
scrapy genspider -d module:查看模板内容
2、crawl:启动某个爬虫
scrapy crawl spidername
3、check:测试爬虫
scrapy check spidername
4、bench:测试硬件
scrapy bench
5、list:列出可使用的爬虫
scrapy list
6、edit:编辑爬虫文件
scrapy edit spiderfile
7、parse:获取指定的url
1、startproject:创建项目
scrapy startproject projectname
2、shell:启动交互终端
scrapy shell url
3、fetch:显示爬取过程
scrapy fetch url
4、runspider:运行爬虫
scrapy runspider spidername
5、settings:查看配置信息(类似于settings.py)
scrapy settings
6、version:显示版本信息
scrapy version
7、view:下载网页并查看
scrapy view url
二、项目命令
1、genspider:快速创建爬虫
scrapy genspider -l:查看模板种类
scrapy genspider -t module spidername url:模板创建爬虫
scrapy genspider -d module:查看模板内容
2、crawl:启动某个爬虫
scrapy crawl spidername
3、check:测试爬虫
scrapy check spidername
4、bench:测试硬件
scrapy bench
5、list:列出可使用的爬虫
scrapy list
6、edit:编辑爬虫文件
scrapy edit spiderfile
7、parse:获取指定的url