scrapy常用的指令总结

 

1、全局命令
scrapy -h 查看全局命令 

1）fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2）  --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息，和
不显示日记信息
   scrapy fetch --header --nolog http://news.sina.com.cn/

3）runspider 可以实现不依托Scrapy的爬虫项目，直接运行一个爬虫文件
  scrapy runspider --loglevel=INFO first.py
  
4）setttings 命令查看Scrapy对应的配置信息
scrapy settings --get BOT_NAME

5）shell命令可以启动Scrapy的交互终端
scrapy shell http://www.baidu.com --nolog

6）version查看Scrapyde 版本信息

7）view  可以实现下载某个网页并用浏览器查看功能

2、项目命令  进入某个项目目录下
1）bench 用于测试本地硬件的性能
scrapy bench

2）genspider 命令来创建scrapy爬虫文件
  scrapy genspider -l
  
3）check 实现对某个爬虫文件合同检查
scrapy check gaozhen
4）crawl 启动某个爬虫
scrapy crawl gaozhen --loglevel=INFO

5）list命令  可以列出当前使用的爬虫文件
scrapy list

6）edit命令  可以直接打开对应的编辑器对爬虫文件进行编辑
scrapy edit abc

7）parse 命令  可以实现获取指定的URL网址，并使用对应的爬虫文件进行解析
scrapy parse http://www.baidu.com
--------------------- 
 

genspider命令

用于创建爬虫文件，这是一种快速创建爬虫文件的方式。

# scrpay genspider -t 基本格式
# basic 模板
# baidu.com 爬取的域名
scrapy genspider -t basic xxx baidu.com

此时在spider文件夹下会生成一个以xxx命名的py文件。可以使用scrapy genspider -l查看所有可用爬虫模板。当前可用的爬虫模板有：basic、crawl、csvfeed、xmlfeed


https://www.jb51.net/article/144511.htm


scrapy genspider -t basic zyn baidu.com 快捷创建爬虫文件
scrapy crawl zyn 运行py文件
scrapy list 展示当前目录下可以使用的爬虫文件
scrapy edit 直接通过编辑器打开爬虫文件（win系统运行不了哦）