scrapy源码级别了解

scrapy 中间件介绍

阅读须知

先来总的看scrapy默认都有哪些downloadmiddlewares以及他们的注册顺序，如下图
*注意：序号越大的越后执行。
复制代码

UserAgentMiddleware中间件

作用：设置useragent的系统中间件，源码如下图
简单描述：在开启spider的时候，读取setting中的USER_AGENT，然后设置成为默认的userAgent，代码不难，可以阅读。
复制代码

DefaultHeadersMiddleware中间件

作用：默认请求头设置中间件
简单描述：获取setting中的DEFAULT_REQUEST_HEADERS，然后设置成为默认请求头
复制代码

HttpProxyMiddleware

作用：设置代理中间件
简单描述：
复制代码

目前正在阅读源码，未完，待更新