python中scrapy的middleware是干嘛的_scrapy学习之路(五)middlewares的使用

scrapy如何使用middlewares呢，需要了解middlewares命名规则和操作规则。

在配置文件中有如下的关于middlewares的配置：

DOWNLOADER_MIDDLEWARES = {

'myproject.middlewares.CustomDownloaderMiddleware': 543,

}

其中：myproject 是项目的名字， middlewares 是python脚本文件名(一般直接保存在项目的目录下)， CustomDownloaderMiddleware 是下载器中间键的名字。

在middlewares中，可以编辑各种middlewares类：

如：

class CustomProxyMiddleware(object):

def process_request(self, request, spider):

try:

request.meta["proxy"] = "http://127.0.0.1:8080"

except Exception as err:

print err

class CustomUserAgentMiddleware(object):

def __init__(self, user_agent=''):

self.user_agent = user_agent

def process_request(self, request, spider):

ua = random.choice(self.user_agent_list)

if ua:

# print(ua)

request.headers.setdefault('User-Agent', ua)

user_agent_list=['User-Agent a','User-Agent b','User-Agent b']

然后在前面说的配置文件中启用middlewares。