requests 代理设置问题解决方案

今天在部署的时候,发现我本地是OK的,但是部署到服务器上,requests出现如下报错:
requests.exceptions.ProxyError: HTTPConnectionPool(host=‘xx.xx.xx.xx’, port=808): Max retries exceeded with url: http://xxxxx (Caused by ProxyError(‘Cannot connect to proxy.’, NewConnectionError(’<urllib3.connection.HTTPConnection object at 0x7f6af4708f60>: Failed to establish a new connection: [Errno 111] Connection refused’,)))

后来百度搜了下解决方案,找到了这两篇《让requests不走系统 全局 代理》《requests中的代理设置》

于是,在请求中添加了以下代码

proxies = {'http': None, 'https': None}
res = requests.post(xxxxx, proxies=proxies)

这样的话,就可以确保requests不使用系统代理,直连服务器了。
再次部署,问题就解决了!

如果需要手动设置代理,可以这样做:

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}
requests.get('http://example.org', proxies=proxies)
  • 7
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
在Python中使用requests库发送HTTP请求时,可以通过设置请求头(headers)来模拟浏览器请求,以解决反爬虫的问题。要设置请求头,可以通过创建一个字典,并将其作为参数传递给headers参数。 例如,假设我们要设置一个自定义的User-Agent头,可以使用以下代码: ```python import requests url = 'https://api.example.com/some/endpoint' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) ``` 在这个例子中,我们创建了一个名为headers的字典,并将自定义的User-Agent头添加到其中。然后,我们将headers作为参数传递给get()方法,以发送带有自定义头的GET请求。 需要注意的是,headers的值必须是字符串、字节串或Unicode类型。尽管可以传递Unicode类型的header,但不推荐这样做。 此外,还要注意一些特殊情况。例如,如果在.netrc中设置了用户认证信息,使用headers参数设置的授权信息将不起作用。另外,如果被重定向到其他主机,授权头将被删除。代理授权头也会被URL中提供的代理身份覆盖。在能够确定内容长度的情况下,header的Content-Length会被改写。 总之,通过定制请求头,可以在使用Python的requests库发送HTTP请求时模拟浏览器,并解决一些反爬虫的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Python——爬虫【Requests设置请求头Headers】](https://blog.csdn.net/ysblogs/article/details/88530124)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [Pyhon : 爬虫Requests基础--定制请求头](https://blog.csdn.net/weixin_44523387/article/details/90718087)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值