Scrapy学习 三 命令行详解

命令行详解

创建项目

scrapy startproject testproject[project_dir]

进入项目

cd project_dir

创建爬虫

scrapy genspider mydomain mydomain.com

命令

全局命令

• startproject -------- scrapy startproject myproject创建项目
• genspider -------- scrapy genspider [-t template] <name> <domain>创建爬虫（-t指定模板-l查询模板）
• 设置-------- scrapy设置[options]    获取配置文件信息
• runspider
• shell -------- scrapy shell <url>获取数据后进入交互模式，可以使用方法进行操作
• fetch -------- scrapy fetch <url>相当于发起请求获取当前URL所在页面的信息，可以添加参数[--nolog]不显示响应头[--headers]显示响应头[--no重定向]禁止重定向
• view-------- scrapy view <url>会把请求的数据保存成一个文件并在浏览器中打开
• version-------- scrapy version[-v]输出版本[依赖库版本]

项目命令

• crawl--------- scrapy crawl <spider>运行爬虫
• check --------- scrapy check [-l] <spider>检查代码是否有错误
• list --------- scrapy list返回项目中所有的蜘蛛
• edit--------- scrapyeditspider1命令行下编辑蜘蛛
• parse --------- scrapy parse <url> [options]  详情参考官方文档
• bench--------- scrapy bench爬行速度