scrapy基本命令

1.创建一个新项目：

scrapy startproject myproject

2.在新项目中创建一个新的spider文件：

scrapy genspider mydomain baidu.com

mydomain为spider文件名，baidu.com为爬取网站域名

3.运行spider文件：

scrapy crawl <spider>

4.检查spider文件有无语法错误：

scrapy check

5.列出spider路径下的spider文件：

scrapy list

6.编辑spider文件：

scrapy edit <spider>

7.将网页内容下载下来，然后在终端打印当前返回的内容，相当于 request 和 urllib 方法：

scrapy fetch <url>

8.将网页内容保存下来，并在浏览器中打开当前网页内容，直观呈现要爬取网页的内容:

scrapy view <url>

9.打开 scrapy 显示台，类似ipython，可以用来做测试：

scrapy shell [url]

10.输出格式化内容：

scrapy parse <url> [options]

11.返回系统设置信息：

scrapy settings [options]

12.运行spider：

scrapy runspider <spider_file.py>