①startproject ——全局命令
在当前路径下创建一个名为myproject
的·scrapy
项目
语法:scrapy startproject myproject
②genspider ——-需要项目
在当前项目中创建spider
仅仅是创建spider
的一种快捷方法,可以使用提前定义好的模板来生成spider
语法:scrapy genspider name domain.com
这里domin.com为域名、要爬取的范围,name为spider(蜘蛛)名
③crawl ——-需要项目
使用spider进行爬取
语法:scrapy crawl name
④check ——-需要项目
用于检查错误
语法:scrapy check
⑤list ——-需要项目
用于列出当前项目中所有可用的spider。在命令行中每行输出一个spider。
语法:scrapy list
⑥edit ——需要项目
使用EDITOR
中设定的编辑器编辑给定的spider(一般都是选择其他工具比如IDLE等进行编写和调试)
语法:scrapy edit name
⑦fetch ——不需要项目
使用Scrapy下载器下载给定的URL,并将页面内容送到标准输出
使用该命令来查看spider如何获取某个特定页面-网页源码
语法:scrapy fetch --nolog URL
⑧view ——不需要项目
请求URL,把它的网页源码保存成文件,并打开网页
语法:scrapy view URL
⑨shell ——-不需要项目
语法:scrapy shell URL
进入URL进入交互模式,在未启动spider的情况下尝试、测试或调试爬取代码。其会自动创建Response
对象和Selector
对象,同时会有一个sel
对象。可以调用例如:response.body
、sel.xpath()
等
⑩parse ——=需要项目
获取给定的URL并使用相应的spider分析处理
语法:scrapy parse URL
11 runspider ——-不需要项目
在未创建项目的情况下,运行一个编写在Python文件中的spider,与crawl的区别是runsider运行的是文件的名称+拓展名
语法:scrapy runspider <spider_file>.py
12 version ———-不需要项目
输出Scrapy的版本。配合-v
运行时,该命令同时输出Python,Twisted以及平台信息,方便bug提交
语法:scrapy version
语法:scrapy version -v