命令行详解
创建项目
scrapy startproject testproject[project_dir]
进入项目
cd project_dir
创建爬虫
scrapy genspider mydomain mydomain.com
命令
全局命令
- startproject -------- scrapy startproject myproject创建项目
- genspider -------- scrapy genspider [-t template] <name> <domain>创建爬虫(-t指定模板-l查询模板)
- 设置-------- scrapy设置[options] 获取配置文件信息
- runspider
- shell -------- scrapy shell <url>获取数据后进入交互模式,可以使用方法进行操作
- fetch -------- scrapy fetch <url>相当于发起请求获取当前URL所在页面的信息,可以添加参数[--nolog]不显示响应头[--headers]显示响应头[--no重定向]禁止重定向
- view-------- scrapy view <url>会把请求的数据保存成一个文件并在浏览器中打开
- version-------- scrapy version[-v]输出版本[依赖库版本]
项目命令
- crawl--------- scrapy crawl <spider>运行爬虫
- check --------- scrapy check [-l] <spider>检查代码是否有错误
- list --------- scrapy list返回项目中所有的蜘蛛
- edit--------- scrapyeditspider1命令行下编辑蜘蛛
- parse --------- scrapy parse <url> [options] 详情参考官方文档
- bench--------- scrapy bench爬行速度