scrapy常用命令

# -- help 查看帮助信息
scrapy -- help


# version 查看版本信息
scrapy version


# version -v 更加全面的版本信息
scrapy version -v


# startproject 创建工程
scrapy startproject tutorial(工程名称)


cd tutorial


# 以下方法在 tutorial 目录下进行


# genspider 建立爬虫文件（创建文件在 tutorial/spider 目录下）
# 创建的时候要注意不同的spider文件的name必须不同
scrapy genspider 爬虫的名称 爬取的网站


# crawl 运行爬虫
scrapy crawl 爬虫的名称 
scrapy crawl 爬虫的名称 -o 保存的文件名


# list 本工程中查看所有爬虫
scrapy list


# view 查看页面源码在浏览器中显示的样子
# 执行下面语句会在浏览器中查看该网页
scrapy view http://www.dmoz.org/Computers/Programming/Languages/Python/Books/


# parse 在工程中使用固定的parse函数解析某个页面，可以用来查看parse函数写的是否正确
# （此命令执行错误，还没找到原因，但是爬虫运行都正常）
scrapy parse http://www.dmoz.org/Computers/Programming/Languages/Python/Books/


# shell 可用于调试数据，检测xpath，查看页面源码等等
cd ..（跳出tutorial目录）
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
# 获取当前路径下书籍的总数量
In [1]: response.xpath('//*[@id=