猴子补丁解决python requests代理问题

TsXor

已于 2023-02-22 00:48:18 修改

阅读量191

点赞数

分类专栏：错误记录文章标签： python 开发语言爬虫

于 2023-02-22 00:47:17 首次发布

本文链接：https://blog.csdn.net/TsXor/article/details/129153014

版权

错误记录专栏收录该内容

5 篇文章 0 订阅

订阅专栏

该代码创建了一个名为requests_proxy_patch.py的文件，用于获取系统代理并处理HTTP请求。定义了一个PSession类，扩展了requests.Session，确保在请求和重定向时使用安全的代理。如果系统中有多个代理地址（非Windows环境），则优先选择HTTP代理。此模块可导入并应用于需要代理支持的Python脚本。

摘要由CSDN通过智能技术生成

创建文件requests_proxy_patch.py

from urllib.request import getproxies

def get_safe_proxy():
    proxies = getproxies()
    addresses = [v.removeprefix(k+'://') for k, v in proxies.items()]
    is_aio = len(set(addresses)) != len(addresses)
    # convert to only http if "All in One"
    return proxies if is_aio else {'http': proxies['http']}


import requests

class PSession(requests.Session):
    def request(self, *args, **kwargs):
        kwargs.setdefault('proxies', get_safe_proxy())
        super().request(*args, *kwargs)

    def resolve_redirects(self, *args, **kwargs):
        kwargs.setdefault('proxies', get_safe_proxy())
        super().resolve_redirects(*args, *kwargs)

requests.Session = PSession