1、全局命令
scrapy -h 查看全局命令
1)fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2) --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息,和
不显示日记信息
scrapy fetch --header --nolog http://news.sina.com.cn/
3)runspider 可以实现不依托Scrapy的爬虫项目,直接运行一个爬虫文件
scrapy runspider --loglevel=INFO first.py
4)setttings 命令查看Scrapy对应的配置信息
sc
scrapy -h 查看全局命令
1)fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2) --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息,和
不显示日记信息
scrapy fetch --header --nolog http://news.sina.com.cn/
3)runspider 可以实现不依托Scrapy的爬虫项目,直接运行一个爬虫文件
scrapy runspider --loglevel=INFO first.py
4)setttings 命令查看Scrapy对应的配置信息
sc