Scrapy：隧道代理中移除 Proxy-Authorization 的原理解析

隧道代理中移除 Proxy-Authorization 的原理解析

背景

在 Scrapy 的 HTTP 下载处理中，当使用隧道代理（TunnelingAgent）时，会移除请求头中的 Proxy-Authorization。这个操作看似简单，但背后有着重要的安全考虑和技术原因。

代码实现

在 Scrapy 的代码中，这个操作是这样实现的：

if isinstance(agent, self._TunnelingAgent):
    headers.removeHeader(b"Proxy-Authorization"