scrapy命令有哪些,其实灰常少,也就十四五个,在这十四五个中,常用的就纳么两三个而已,如:
scrapy startproject XXX(创建项目)、
scrapy genspider XX (创建XX蜘蛛)
scrapy crawl XX(运行XX蜘蛛)、
scrapy shell http://www.163.com(调试网址为http://www.163.com的网站)
1、startproject 创建项目命令:
这个是见得最多,创建项目的,如,创建一个名为:taobao的项目:
scrapy strartproject taobao
2、genspider 创建蜘蛛命令:
cd进入startproject 创建的项目,然后运行genspider 命令创建进行爬取的蜘蛛,这个命令的话是根据蜘蛛模板创建蜘蛛的命令,如,创建一个爬取店铺的蜘蛛
scrapy genspider shop
3、crawl 命令是运行创建的蜘蛛:
scrapy crawl shop
4、shell蜘蛛调试工具:
这个命令比较重要,主要是调试用,比如我们要调试http://www.taobao.com,看我们的选择器到底有木有正确选中某个元素,那我们就可以这样来玩,首先用调试打开:http://www.taobao.com:
scrapy shell http://www.163.com
然后我们可以直接执行命令,response,比如我们要测试我们获取标题的选择器正不正确,我们可以这样:
response.css("title::text").extract_first()