# -- help 查看帮助信息
scrapy -- help
# version 查看版本信息
scrapy version
# version -v 更加全面的版本信息
scrapy version -v
# startproject 创建工程
scrapy startproject tutorial(工程名称)
cd tutorial
# 以下方法在 tutorial 目录下进行
# genspider 建立爬虫文件(创建文件在 tutorial/spider 目录下)
# 创建的时候要注意不同的spider文件的name必须不同
scrapy genspider 爬虫的名称 爬取的网站
# crawl 运行爬虫
scrapy crawl 爬虫的名称
scrapy crawl 爬虫的名称 -o 保存的文件名
# list 本工程中查看所有爬虫
scrapy list
# view 查看页面源码在浏览器中显示的样子
# 执行下面语句会在浏览器中查看该网页
scrapy view http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
# parse 在工程中使用固定的parse函数解析某个页面,可以用来查看parse函数写的是否正确
# (此命令执行错误,还没找到原因,但是爬虫运行都正常)
scrapy parse http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
# shell 可用于调试数据,检测xpath,查看页面源码等等
cd ..(跳出tutorial目录)
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
# 获取当前路径下书籍的总数量
In [1]: response.xpath('//*[@id=
scrapy常用命令
最新推荐文章于 2021-10-22 14:38:13 发布