scrapy常用命令

# -- help 查看帮助信息
scrapy -- help


# version 查看版本信息
scrapy version


# version -v 更加全面的版本信息
scrapy version -v


# startproject 创建工程
scrapy startproject tutorial(工程名称)


cd tutorial


# 以下方法在 tutorial 目录下进行


# genspider 建立爬虫文件(创建文件在 tutorial/spider 目录下)
# 创建的时候要注意不同的spider文件的name必须不同
scrapy genspider 爬虫的名称 爬取的网站


# crawl 运行爬虫
scrapy crawl 爬虫的名称 
scrapy crawl 爬虫的名称 -o 保存的文件名


# list 本工程中查看所有爬虫
scrapy list


# view 查看页面源码在浏览器中显示的样子
# 执行下面语句会在浏览器中查看该网页
scrapy view http://www.dmoz.org/Computers/Programming/Languages/Python/Books/


# parse 在工程中使用固定的parse函数解析某个页面,可以用来查看parse函数写的是否正确
# (此命令执行错误,还没找到原因,但是爬虫运行都正常)
scrapy parse http://www.dmoz.org/Computers/Programming/Languages/Python/Books/


# shell 可用于调试数据,检测xpath,查看页面源码等等
cd ..(跳出tutorial目录)
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
# 获取当前路径下书籍的总数量
In [1]: response.xpath('//*[@id=
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值