python爬虫scrapy比较常用的三个命令

scrapy命令有哪些,其实灰常少,也就十四五个,在这十四五个中,常用的就纳么两三个而已,如:

scrapy startproject XXX(创建项目)、

scrapy genspider XX (创建XX蜘蛛)

scrapy crawl XX(运行XX蜘蛛)、

scrapy shell http://www.163.com(调试网址为http://www.163.com的网站)

1、startproject 创建项目命令:

      这个是见得最多,创建项目的,如,创建一个名为:taobao的项目:

scrapy strartproject taobao

2、genspider 创建蜘蛛命令:

cd进入startproject 创建的项目,然后运行genspider 命令创建进行爬取的蜘蛛,这个命令的话是根据蜘蛛模板创建蜘蛛的命令,如,创建一个爬取店铺的蜘蛛

scrapy genspider shop

3、crawl 命令是运行创建的蜘蛛:

scrapy crawl shop

4、shell蜘蛛调试工具:

这个命令比较重要,主要是调试用,比如我们要调试http://www.taobao.com,看我们的选择器到底有木有正确选中某个元素,那我们就可以这样来玩,首先用调试打开:http://www.taobao.com:

scrapy shell http://www.163.com

然后我们可以直接执行命令,response,比如我们要测试我们获取标题的选择器正不正确,我们可以这样:

response.css("title::text").extract_first()

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值