scrapy常用一些命令行

scrapy --help                              查看scrapy的基本帮助信息

scrapy --varsion                          查看版本信息

scrapy startproject xxx                创建一个新的工程

scrapy genspider xexe xxxx.xom         一个工程中可以有多个spider,genspider，就是在一个工程中创建多个爬虫，

首先在进入工程当中，然后运行命令，其中xexe是爬虫的名字，xxxx.com是所要爬取得网站

scrapy list                                   查看一个工程有多少个爬虫，同样是要先进入项目的根目录再运行命令

scrapy view url　　　　　　　　　　 查看页面源代码在浏览器中的样子，要先进入项目的根目录再运行命令

scrapy parse url                           在工程中使用固定的parse函数解析某个页面，要先进入项目的根目录再运行命令

scrapy runspider xxx.py               运行一个包含了所有逻辑代码的爬虫文件，xxx.py 爬虫文件                         

scrapy bench                               可以用来检测scrapy是否安装成功

 

转载于:https://www.cnblogs.com/bigvase/p/6528127.html