requests并发请求url时太慢

python requests请求卡住问题

这里首先应该明确问题,在进行请求的时候,已经设置了timeout参数,为啥还会变慢。
在requests.get(timeout = 1) requests.get(timeout = (1,2))
他具备两种方式,一种就是全部都设置为1,一种就是两个过程分别设置。
具体信息可以看
https://www.jianshu.com/p/5cf16cb5a362

但是,实际上,即使是设置了这个东西也是会卡住,有两种方案,一种就是修改DNS,一种就是设置全局的socket时间。
我dns是阿里的,socket时间也修改了,但是还是会出现时间比较长的情况;
但是看了一下,大部分url都不会出现这种超时的情况,慢的就是那几个,即使我用wget进行也会非常慢,说明其实,就是那边的服务器慢,按说我请求过一次DNS应该缓存了。
最后就是直接把这个url给黑名单了。。
但这毕竟不是长久直接,其实应该比较智能的砍掉这个过程。

https://www.v2ex.com/t/365351
这个是他们关于这个问题的讨论。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值