Scrapy爬虫框架 Downloader Middleware 下载器中间件内置参数

在网络爬虫的世界里，Scrapy 是一个强大且灵活的框架，适合用于构建各种类型的网络爬虫项目。而在 Scrapy 中，Downloader Middleware（下载器中间件）则是一个至关重要的组件。它位于 Scrapy 引擎与下载器之间，负责处理请求和响应，可以进行请求的修改、添加自定义请求头、处理重定向等操作。因此，深入理解 Scrapy 中内置的下载器中间件对于提升爬虫性能和处理复杂场景至关重要。

本教程将详细介绍 Scrapy 2.6 版本中内置的 Downloader Middleware 及其相关参数。通过对每个中间件的概念、基本操作、延展使用和实际应用示例的讲解，帮助你全面掌握这些工具，增强你在实际爬虫项目中的操作能力。

内置下载器中间件激活

在 settings.py 文件中，添加或修改 DOWNLOADER_MIDDLEWARES 或 SPIDER_MIDDLEWARES 字典，指定要使用的中间件及其顺序。键为中间件类的路径，值为该中间件的优先级，数值越低，优先级越高。

DOWNLOADER_MIDDLEWARES =