scrapy设置代理proxy

最新推荐文章于 2025-01-26 17:24:40 发布

daidaixiong1234

最新推荐文章于 2025-01-26 17:24:40 发布

阅读量1.5w

点赞数

CC 4.0 BY-SA版权

分类专栏： python 爬虫 scrapy

本文链接：https://blog.csdn.net/haipengdai/article/details/50972983

爬虫同时被 3 个专栏收录

13 篇文章

订阅专栏

python

11 篇文章

订阅专栏

scrapy

3 篇文章

订阅专栏

本文介绍了如何在Scrapy项目中设置代理，通过创建middlewares.py文件并编写ProxyMiddleware，利用b64encode方法处理代理认证信息，确保能正确处理长用户名的情况。在settings.py中启用该中间件即可。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://stackoverflow.com/questions/4710483/scrapy-and-proxies

增加文件middlewares.py放置在setting.py平行的目录下

import base64
class ProxyMiddleware(object):
# overwrite process request
def process_request(self, request, spider):
    # Set the location of the proxy
    request.meta['proxy'] = "http://YOUR_PROXY_IP:PORT"

    # Use the following lines if your proxy requires authentication
    proxy_user_pass = "USERNAME:PASSWORD"
    # setup basic authentication for the proxy
    encoded_user_pass = base64.b64encode(proxy_user_pass)
    request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass