Scrapy框架实战（二）：详解 Scrapy 下载器中间件

1. 下载器中间件

Scrapy 允许使用中间件干预数据的抓取过程，以及完成其他数据处理工作。其中一类非常重要的中间件就是 下载器中间件。下载器中间件 可以对数据的下载和处理过程进行拦截。在 Scrapy 爬虫中，数据下载和处理分为如下两步完成。

1. 指定 Web 资源的 URL，并向服务端发送请求。这一步需要依赖爬虫类的 start_urls 变量或 start_requests 方法。
2. 当服务端响应 Scrapy 爬虫的请求后，就会返回响应数据，这时系统会将响应数据再交由 Scrapy 爬虫处理，也就是调用爬虫类的请求回调方法，如 parse。

1.1 核心方法

下载中间件可以对上面两步进行拦截。当爬虫向服务端发送请求之前，会通过下载器中间件类的 process_request 方法进行拦截&#