scrapy常用命令笔记

1、scrapy --help     

查看scrapy的基本命令

2、scrapy version -v 

查看scrapy版本和各组件的信息

3、scrapy startproject xx 

创建一个xx工程

4、scrapy genspider name site.com    要进入工程目录下

name为文件名；site.com为要爬取的网站的域名

有两种情况：1、在工程中产生一个spider

                     2、在同一个工程产生多个spider，不同的spider要求name不同

scrapy genspider -l     查看爬虫模板

5、scrapy list 

查看工程中所有的spider file

6、scrapy view url