Scrapy框架常见命令

全局命令

fetch

爬一个网页，并显示爬取过程

scrapy fetch http://www.baidu.com

runspider

不创建爬虫项目，也可以运行一个爬虫文件

scrapy runspider .\hello.py

shell

启动scrapy交互终端

startproject

创建一个scrapy爬虫项目

view

下载某个网页，并用浏览器查看

scrapy view http://news.163.com

项目命令

bench

测试硬件性能

scrapy bench

查看爬虫模板

 scrapy genspider -l

创建一个爬虫文件
lupe文件名
baidu.com域名

scrapy genspider -t basic lupe baidu.com

check

主要用于测试

scrapy check 测试的爬虫名

crawl

启动爬虫，运行爬虫的某个文件

 scrapy crawl lupe

list

展示当前项目下可以使用的爬虫文件

scrapy list

edit

通过编辑器打开某个爬虫文件（linux）

scrapy edit lupe

parse

获取指定的url网页

scrapy parse http://www.baidu.com