scrapy框架的使用

1.什么是scrapy框架？

文档地址：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

这个详细的文档地址，大家可以保存一下，之前的文章中也有一些链接大家可以保存下来方便后续寻找。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。

2.scrapy的工作流程

3.scrapy中各中间件的作用

 

4.scrapy项目实现流程

1. 创建一个scrapy项目:scrapy startproject mySpider
2. 生成一个爬虫:scrapy genspider Sixstar "sixstaredu.com
3. 提取数据:完善spider，使用xpath等方法
4. 保存数据:pipeline中保存数据 

5.创建scrapy项目

安装scrapy命令：pip install scrapy

创建scrapy项目的命令：scrapy startproject +<项目名字>

示例：scrapy startproject myspider

生成的目录和文件结果如下：

 

 6创建爬虫

命令：在项目路径下执行:scrapy genspider +<爬虫名字> + <允许爬取的域名>

示例：

cd myspider
scrapy genspider sixstar sixstaredu.com