ken桑带你读源码 之scrapy

  开篇声明 文章讲解源码不一定从入口开始   主题更注重 思路讲解以及核心函数   ok?  废话到此为止

/scrapy/downloadermiddlewares/  文件夹下是下载器的 中间件  简单说就是 你请求 or  返回数据都经过他 

其中

def process_response(self, request, response, spider):处理返回数据

def process_request(self, request, spider):  处理请求数据

def from_crawler(cls, crawler):  先调用他  再调用 __init__

 

scrapy/downloadermiddlewares/redirect.py  重定向中间件

 

class RedirectMiddleware(BaseRedirectMiddleware):  这个是服务器重定向

转载于:https://www.cnblogs.com/gzwwj/p/7851791.html