本文总结了Scrapy框架的一些常用全局和项目命令，包括fetch显示爬取过程、runspider运行独立爬虫文件、settings查看配置信息、shell启动交互终端、genspider创建爬虫、check合同检查、crawl启动爬虫、list列出爬虫、edit编辑爬虫和parse解析URL等功能。
1、全局命令
scrapy -h 查看全局命令
1）fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2） --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息，和
不显示日记信息
scrapy fetch --header --nolog http://news.sina.com.cn/
3）runspider 可以实现不依托Scrapy的爬虫项目，直接运行一个爬虫文件
scrapy runspider --loglevel=INFO first.py
4）setttings 命令查看Scrapy对应的配置信息
sc
scrapy -h 查看全局命令
1）fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2） --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息，和
不显示日记信息
scrapy fetch --header --nolog http://news.sina.com.cn/
3）runspider 可以实现不依托Scrapy的爬虫项目，直接运行一个爬虫文件
scrapy runspider --loglevel=INFO first.py
4）setttings 命令查看Scrapy对应的配置信息
sc
最低0.47元/天 解锁文章
665
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
