requests.post 小坑: 默认无超时,会阻塞

一、遇到问题

最近遇到一个小问题 : 发现我的进程在调某个 API 的时候,不能正常 work 了。

马上一顿 strace -p pid 操作,定睛一看,
发现我的进程卡在了 recvfrom(23) 不动了,一直不会进入 accept 或者 epoll_wait ,
没有请求响应,也不会有任何的报错。

这时候才想起被requests.post 坑了,这货默认是阻塞的,除非显式指定了 timeout 值,否则不会做超时处理。

二、显式指定超时和重试

配置 requests 在经过 timeout( s )之后停止等待响应,从而避免进程一直卡住:  

try:
   requests.adapters.DEFAULT_RETRIES = 2
   response = requests.post(url, data = body, headers = http_headers, timeout=5 )
except Exception as ee:
   LOGGER.error(ee)

如此配置后,客户端在 timeout 秒内从基础套接字上必须接收到第一个字节数据, 否则就会抛出超时异常,不会再卡住了。
这里为了尽力收到数据,加了一次重试。

三、timeout 细化控制

前面配置的 “timeout=5” ,这个值是作为 connect 和 read 二者共用的 timeout ,

可以采用元组方式对这种单值超时方式进行细化,从而支持分别设置连接和读取阶段的超时时间。

connect 连接超时
指的是客户端实现到远端服务器端口的连接时 request 所等待的时间。
连接超时一般设为比 3 的倍数略大的一个数值,因为 TCP 数据包重传窗口的默认大小是 3。
read 读取超时
指的客户端已经连接上服务器并且发送了 request 后,客户端等待服务器发送请求的时间。
一般指的是服务器发送第一个字节之前的时间。

元组配置方式,比如:

response = requests.post(url, data = body, headers = http_headers, timeout=(3, 1) )

元组 timeout=(3, 1) 内第一个值为连接超时时间,第二个值为读取超时时间:
 

本文转载自:https://blog.csdn.net/weixin_44648216/article/details/105796379

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值