记一次TCP TIME_WAIT引发的血案

最新推荐文章于 2023-12-28 10:20:27 发布
最新推荐文章于 2023-12-28 10:20:27 发布
阅读量2.6k 收藏 1
点赞数 1
分类专栏： Java Linxu jitsi 文章标签： tcp/ip 网络 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28880087/article/details/123182577
版权
本文记录了一次因TCP TIME_WAIT状态导致的线上故障，故障表现为状态延迟，TCP TIMEWAIT瞬间增加，同时探讨了可能的原因，如网络问题、GC频繁等。通过分析，最终确定问题在于TCP连接数达到上限，解决方案包括调整系统和应用配置，优化连接管理和锁的使用，以及考虑使用WebSocket代替短连接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

记录线上一次故障，状态延迟，状态使用短连接，长轮训的方式获取，在每天的固定时间点，出现状态延迟，持续几分钟，然后又莫名其妙的恢复了，很是怪异，下面就来复盘下，这次问题的定位和思考。

在这里插入图片描述

冰山一角

我们可以掌握的线索有
1.固定的时间点，发生。
2.通过监控可以看到，流量并不高，但是TCP TIMEWAIT一瞬间疯涨
3.出问题的时间点，远程客户的电脑（全内网），ping网关和服务器，发现有大量延时
4.有同事通过jstat看，发现gc的次数很多，认为gc导致了接口延时。
5.接口超时的时间点，CPU不高，内存不高，I/O不高，系统负载不高，也就是未达到机器的性能瓶颈。机器配置16核64g

软件版本：

  • 操作系统 centos7.9
  • JDK 1.6
  • nginx7.7
了解本专栏 订阅专栏 解锁全文 超级会员免费看
服务端和客户端 出现time_wait
zhaoyangjian724的专栏
02-20 513
服务端time_wait: 模拟直接掐掉程序: node1:/root/test#python test.py server listening8080... <socket._socketobject object at 0x7f5f1cd90a60> ('192.168.137.1', 51108) 接到来自192.168.137.1的链接 ^CTraceback (most...
TCP RETRANSMISSION 连接超时
Echo_Blingbling的博客
11-05 1316
转载 记一次TCP 连接超时 背景 用户反馈 >> 有出现支付超时、页面问题 （部分情况会出现） 分析 检查最近是否有上线导致 (并没有上线) 排除 对接第三方平台 API接口是否有上线 (没有) 排除 是否网络延迟导致 （从前端 到后端 内网检测没问题ICMP包）,检查从外网到第三方接口（ICMP没有问题） 排除网络问题导致 没有办法只能上tcpdump 抓包 (抓取双方服务器 网络通讯数据包) 发现 ICMP，http协议均无问题，只有TCP 出现问题,如图所示： 难道是TCP连接跑满了？
java time wait,tcp连接在TIME_WAIT将不允许重连，java
weixin_39790738的博客
02-12 160
After making a tcp connection to a server, I close my linux application and Socket.close() is called.Checking netstat -pant, I see the connection is in TIME_WAIT status.This prevents me from making an...
关于time_wait状态的理解
Y先森0.0
05-29 1489
关于time_wait状态的理解 TIME_WAIT状态之所以存在,是为了保证网络的可靠性 有以下原因: 1.为实现TCP全双工连接的可靠释放 当服务器先关闭连接,如果不在一定时间内维护一个这样的TIME_WAIT状态,那么当被动关闭的一方的FIN到达时，服务器的TCP传输层会用RST包响应对方，这样被对方认为是有错误发生，事实上这只是正常的...
windows 2008 R2 大量会话在TIME_WAIT状态
wtt丶的博客
04-08 6902
今天开启采集程序发现一直连不上，报错：No buffer space available (maximum connections reached?): JVM_Bind 生产环境系统：window 2008 r2查阅了各种资料后，发现是由于tomcat 8080端口把 TCP/IP端口占满不释放导致的，查看会话后发现基本都是8080端口的程序，命令：netstat -an 列出所有会话最后断定是...
服务器http连接出现大量TIME_WAIT问题的解决方法
热门推荐
welcome66的专栏
09-04 1万+
  最近用户的tomcat服务器上出现大量TIME_WAIT 状态的连接，导致后面的连接进不去，出现服务没有响应的情况。 首先使用命令查看当前的各种状态的数量： netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'     执行后，一般结果如下：     TIME_WAIT 8     CLOSE_...
阿里云关于改进TIMEWAIT的不靠谱建议
yinn
08-08 501
问题过程 某台nginx服务器的timewait状态较多，看网上大部分的解决方案都建议打开快速回收内核参数。 阿里云文档 https://help.aliyun.com/knowledge_detail/41334.html#TxtER 同样也建议打开： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30 修改： vi /etc/
一场Socket四次握手引发的血案
spch2008的专栏
07-28 3077
一场Socket四次握手引发的血案 前奏 Hello Everybody，原谅我是一个标题党。事情是这样的，周末，同事在微信上抛来一个问题，原文如下： 服务端某个服务timewait过多，网上说端口会耗尽，我怎么感觉是fd会耗尽呢，因为一个服务通常只使用一个端口 在记忆的某个角落里，翻出了四次握手的状态图，虽然模模糊糊，但是还是有点印象。
TCP/IP面试题
sunsfan的博客
10-28 6709
1. OSI与TCP/IP各层的结构与功能，都有哪些协议。 (1)OSI七层模型 OSI中的层 功能 TCP/IP协议族 应用层文件传输，电子邮件，文件服务，虚拟终端 TFTP，HTTP，SNMP，FTP，SMTP，DNS，Telnet 表示层数据格式化，代码转换，数据加密没有协议 会话层解除或建立与别的接点的联系没有协议 传输层提供端对端的接口 TCP，UDP 网络层为数据包选择路
超详细面试准备（10分钟打遍所有初级后端开发面试）
weixin_44540766的博客
02-23 5337
面试知识汇总 如何介绍项目： https://www.sohu.com/a/259724527_775404 自我介绍：https://www.jianshu.com/p/008fc86a1f28 4W字的后端面试知识点总结： https://www.cnblogs.com/aobing/p/12849591.html 后端技术框架： https://www.cnblogs.com/loren-Yang/p/11073536.html 数据结构 Java HashMap原理： https://yikun.g
服务器出现大量 TIME_WAIT，如何解决
最新发布
ss810540895的博客
12-28 3251
某些情况，TCP 报文可能会延迟到达，为了避免迟到的 TCP 报文被误认为是新 TCP 连接的数据，需要在允许新创建 TCP 连接之前，保持一个不可用的状态，等待所有延迟报文的处理。：理论上服务端可以建立很多连接，虽然只需监听一个端口但会把连接扔给处理线程，所以当服务端出现大量 TIME_WAIT 时，系统资源被占满时，会导致处理不过来新的连接。根据上边的分析，TIME_WAIT 状态出现在 TCP 四次挥手中主动关闭连接方发送完最后一次挥手（ACK 的信号结束后），主动关闭连接方所处的状态。
TIME_WAIT 问题解决
仅做个人笔记
03-16 2696
转自：https://www.jianshu.com/p/e892e1908755 仅做个人备份，浏览请看原文 目录 TIME_WAIT 的起因 TIME_WAIT 的危害 如何优化 net.ipv4.ip_local_port_range net.ipv4.tcp_max_tw_buckets 调低 TCP_TIMEWAIT_LEN，重新编译系统 SO_LINGER 设置 net.ipv4.tcp_tw_reuse : 更安全的设置 SO_REUSEADDR 终极解决方案： .
关于服务器进入TIME_WAIT状态，导致无法重启绑定端口的解决方案
foreveyking的博客
08-08 2210
我们在bind之前 开启地址重复利用即可解决绑定失败的问题。 .... setsockopt(listenfd,SOL_SOCKET,SO_REUSEADDR,&amp;on,sizeof(on)); //直接调用即可 bind(....) ....
细说websocket快速重连机制
netease_im的博客
07-22 682
引言 在一个完善的即时通讯应用中，websocket是极其关键的一环，它为web应用的客户端和服务端提供了一种全双工的通信机制，但由于它本身以及其底层依赖的TCP连接的不稳定性，开发者不得不为其设计一套完整的保活、验活、重连方案，才能在实际应用中保证应用的即时性和高可用性。就重连而言，其速度严重影响了上层应用的“即时性”和用户体验，试想打开网络一分钟后，微信还不能收发消息的话，是不是要抓狂？ 因此，如何在网络变更时快速恢复websocket的可用，就变得尤为重要。 快速了解websocet..
计算机网络 TIME_WAIT TCP关闭
qq_40713201的博客
02-05 2280
time-wait开始的时间为tcp四次挥手中主动关闭连接方发送完最后一次挥手，也就是ACK=1的信号结束后，主动关闭连接方所处的状态。 然后time-wait的的持续时间为2MSL. MSL是Maximum Segment Lifetime,译为“报文最大生存时间”，可为30s，1min或2min。2msl就是2倍的这个时间。工程上为2min，2msl就是4min。但一般根据实际的网络情况进行确定。 作用1：为了保证客户端发送的最后一个ack报文段能够到达服务器。因为这最后一个ack确认包可能会丢失..
解决TIME_WAIT过多造成的问题
涂作权的博客
07-31 947
1、time_wait的作用 TIME_WAIT状态存在的理由： 1）可靠地实现TCP全双工连接的终止 在进行关闭连接四次挥手协议时，最后的ACK是由主动关闭端发出的，如果这个最终的ACK丢失，服务器将重发最终的FIN， 因此客户端必须维护状态信息允许它重发最终的ACK。如果不维持这个状态信息，那么客户端将响应RST分节，服务器将此分节解释成一个错误（在java中会抛出conn...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

死磕音视频

你的打赏是我分享的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值