centos7下scrapy命令行介绍和使用

2019独角兽企业重金招聘Python工程师标准>>>

# 创建项目
scrapy startproject 项目名称

# 生成spider
scrapy genspider mydomain mydomain.com
比如:scrapy genspider baidu www.baidu.com

# 全局命令
startproject 创建一个scrapy项目工程
genspider 创建一个spider
runspider 运行spider文件 scrapy runspider quotes.py
version 查看版本 scrapy version -v
view 把网页的源码下载到本地 scrapy view http://www.baidu.com
shell 用来命令行调试 scrapy shell http://www.baidu.com
fetch 返回网站的源代码 scrapy fetch --nolog http://www.baidu.com

#项目命令行
crawl 用来运行spider的方法 scrapy crawl quotes -o  /data/www/quote/quotes.json
check 用来检查代码是否有错误 scrapy check
list  返回项目里面所有spider的名称
edit  在命令行下编辑spider(vim)
bench 测试爬取速度

 

转载于:https://my.oschina.net/u/3223370/blog/1633314