5、scrapy框架使用(一)

Scrapy框架：（与前面所学的相比，scrapy框架应用更加广泛）
简介：（纯python开发的，不含其他语言，改动源码用python语言即可）
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步（未等请求处理完，就会利用好时间处理其他事）网络库来处理网络通讯。

使用原因：
1.为了更利于我们将精力集中在请求与解析上（一般处理反爬问题消耗不少精力，用scrapy能解决不小这类问题）
2.企业级的要求（企业级的框架都是基于scrapy框架进行开发的）

爬取流程和基本的爬虫步骤类似：（自己写的爬虫都要遵循）
1.找到目标数据
2.分析请求流程
3.构造http请求（一般容易遭到反爬机制的阻截，不加请求头就会不断的重定向最后报错）
4.提取数据（xpath和BS4都是对结构化数据（html）提取，如果要对非结构化的提取（比如提取JavaScript里的代码）可以用到和原始方式正则来进行提取）
5.数据持久化

模块安装：
windows下直接下载scrapy的Twisted与其有不兼容，解决起来麻烦
所以可以在anaconda环境下安装

模块简介：
组件介绍
Scrapy Engine(引擎)属于scrapy核心的位置
引擎负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。

scheduler（调度器)
调度程序接收来自引擎的请求，将它们排入队列，以便稍后引擎请求它们。

Downloader（下载器)
下载程序负责获取web页面并将它们提供给引擎，引擎再将它们提供给spider。

spider（爬虫）
爬虫是由用户编写的自定义的类，用于解析响应，从中提取数据，或其他要抓取的请求。
url 数据

Item pipeline（管道)
管道负责在数据被爬虫提取后进行后续处理。典型的任务包括清理，验证和持久性（如将数据存储在数据库中）

下载中间件：（对请求和响应进行一定的处理）
下载中间件是位于引擎和下载器之间的特定的钩子，它们处理从引擎传递到下载器的请求，以及下载器传递到引擎的响应。
如果你要执行以下操作之一，请使用Downloader中间件：
在请求发送到下载程序之前处理请求（即在scrapy将请求发送到网站之前）
在响应发送给爬虫之前
直接发送新的请求，而不是将收到的响应传递给蜘蛛
将响应传递给爬行器而不获取web页面;
默默的放弃一些请求

爬虫中间件：（与下载中间