内核编译解决 TCP连接大量 TIMEWAIT

最新推荐文章于 2021-12-05 18:44:21 发布
最新推荐文章于 2021-12-05 18:44:21 发布
阅读量216 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kjh2007abc/article/details/85001188
版权

     随着业务量的增长，业务服务器网络压力不断增大，查看后端服务器网络连接状态，发现TIME_WAIT状态连接巨多，TIME_WAIT 占用大量的连接端口不释放，影响业务服务响应速度。同时大量的每个TCP连接都各自有个数据结构，叫TCP Control Block.Time_wait的时候这个数据结构没有被释放。所以当有太多的TCP连接时，内存可能会被占用很多。

网络密集型后台服务器，网络连接状态：

av.com                                   #    av.com              

TIME_WAIT       47144                    #    TIME_WAIT       45920

SYN_SENT        1                        #    SYN_SENT        1    

ESTABLISHED     104                      #    ESTABLISHED     94  

LISTEN          7                        #    LISTEN          7    


av.com                                   #    av.com              

TIME_WAIT       45670                    #    TIME_WAIT       48396

ESTABLISHED     102                      #    ESTABLISHED     99  

LISTEN          7                        #    LISTEN          7    


av.com                                   #    av.com

TIME_WAIT       45671                    #    TIME_WAIT       46268

SYN_SENT        2                        #    ESTABLISHED     100  

ESTABLISHED     93                       #    LISTEN          7    

LISTEN          7             


      超过三四万。这个时候，我们需要修改 linux kernel 的 tcp time wait的时间，有个 可以调整 /etc/sysctl.conf网络控制相关的参数，网上资料很多。

      但是修改内核参数效果甚微。经过测试高并发的服务器调整内核参数，我们这边业网络环境，tcp time_wait 能降低%10左右，后期业务压力不断攀升，内核参数优化后的服务器tcp time_wait 会再次爬到一个高点，如上图。

      这时该如何解决问题那？ 先看一下time_wait 在什么环境下会生成？

            

          TCP结束的过程如下:

Server                             Client

-------------- FIN -------------->  server: fin_wait_1


<------------- ACK --------------- client: close_wait  server:fin_wait_2


<------------- FIN  --------------- client发出fin之后就关闭


-------------- ACK ------------->  server发出ack后进入time_wait状态；


        Time_Wait的默认时间是2倍的MLS，MLS（Maximum Segment Lifetime）是TCP片在网上的最长存活时间，它的作用和IP数据包的TTL类似。 主要作用是保证关闭的TCP端口不立即被使用。因为当网络存在延迟时，可能当某个端口被关闭后，网络中还有一些重传的TCP片在发向这个端口，如果这个端口立即建立新的TCP连接，则可能会有影响。所以使用2倍的MSL时间来限制这个端口立即被使用。


 查询相关资料，内核中一个宏定义，在 $KERNEL/include/net/tcp.h里面，这个宏是真正控制 TCP TIME_WAIT 状态的超时时间的。内容如下：

    　　 #define TCP_TIMEWAIT_LEN (60*HZ)     

 修改这个宏定义数值设置，根据我们的测试，常用的值有以下三种：30秒，1分钟，2分钟，可以根据业务实际情况进行实测，我们这边网络压力比较大，通过压测最终确定设置为 10 秒，也就是把上面的修改为：

           #define TCP_TIMEWAIT_LEN (10*HZ)

然后重新编译内核，重启系统即可发现短连接造成的TIME_WAIT状态倍数级下降，我们实测效果如下：

  

内核编译升级参考：  

http://michaelkang.blog.51cto.com/1553154/1266825


优化系统内核参数主机       │ 内核编译优化主机

av.com （主机名）    │av.com    （主机名）       

TIME_WAIT       46366      │TIME_WAIT       9419

ESTABLISHED     99         │FIN_WAIT1       3   

LISTEN          7          │ESTABLISHED     118 

av.com    │LISTEN          7   

TIME_WAIT       46125      │av.com              

FIN_WAIT1       1          │TIME_WAIT       8950

SYN_SENT        1          │ESTABLISHED     105 

ESTABLISHED     99         │LISTEN          7   

LISTEN          7          │av.com              

av.com                     │TIME_WAIT       9668

TIME_WAIT       46591      │ESTABLISHED     114 

ESTABLISHED     101        │LISTEN          7   

LISTEN          7          │av.com              

av.com                     │TIME_WAIT       9224

TIME_WAIT       44307      │FIN_WAIT1       1   

ESTABLISHED     95         │ESTABLISHED     104 

LISTEN          7          │LISTEN          7   

av.com                     │av.com              

TIME_WAIT       46679      │TIME_WAIT       9763

ESTABLISHED     99         │FIN_WAIT1       2   

LISTEN          7          │ESTABLISHED     116 

av.com                     │LISTEN          7   

TIME_WAIT       46833      │av.com              

SYN_SENT        1          │TIME_WAIT       9173

ESTABLISHED     99         │FIN_WAIT1       1   

LISTEN          7          │ESTABLISHED     103 

av.com                     │SYN_RECV        1   

TIME_WAIT       45555      │LISTEN          7   

SYN_SENT        3          │av.com              

ESTABLISHED     104        │TIME_WAIT       9598

LISTEN          7          │ESTABLISHED     117 

av.com                     │LISTEN          7   

TIME_WAIT       45214      │av.com              

ESTABLISHED     96         │TIME_WAIT       9315

LISTEN          7          │SYN_SENT        1   

av.com                     │ESTABLISHED     106 

TIME_WAIT       46498      │LISTEN          7   

SYN_SENT        1          │av.com              

ESTABLISHED     93         │TIME_WAIT       9524

LISTEN          7          │ESTABLISHED     116 

av.com                     │LISTEN          7   

TIME_WAIT       46720      │av.com              

SYN_SENT        1          │TIME_WAIT       9110

ESTABLISHED     95         │ESTABLISHED     104 

LISTEN          7          │LISTEN          7  


同样的网路压力情况下，优化编译后的内核 TIME_WAIT  降低接近5倍，效果很显著。


kjh2007abc
关注
Linux下解决time_wait连接过多（Linux内核优化）
Bertram的博客
08-23 2186
问题描述：高负载下，系统响应变慢，并出现超时或失误失败情况，TIME_WAIT积压 问题定位: # netstat -ant | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' TIME_WAIT 4935 CLOSE_WAIT 145 FIN_WAIT2 3 ESTABLISHED 416 也就是说，这条命令可以把当前系统的网络连接状态分类汇总。 如发现系统存在大量TIME_WAIT状态的连接，通过调整内核参数解决。 命令解析：
linux内核协议栈 TCP系统参数详解
10-20 718
在TCP/IP协议中，TCP协议提供可靠的连接服务，采用三次握手建立一个连接。 第一次握手：建立连接时，客户端发送syn包(syn=x)到服务器，并进入SYN_SEND状态，等待服务器确认； 第二次握手：服务器收到syn包，必须确认客户的SYN（ack=x+1），同时自己也发送一个SYN包（syn=y），即SYN+ACK包，此时服务器进入SYN_RECV状态； 第三次握手：客户端收到服务器的SYN＋ACK包，向服务器发送确认包ACK(ack=y+1)，此包发送完毕，客户端和服务器进入ESTABLISHE
修改Linux内核参数，减少TCP连接中的TIME-WAIT
weixin_33939843的博客
02-25 228
一台服务器CPU和内存资源额定有限的情况下，如何提高服务器的性能是作为系统运维的重要工作。要提高Linux系统下的负载能力，当网站发展起来之后，web连接数过多的问题就会日益明显。在节省成本的情况下，可以考虑修改Linux 的内核TCP/IP参数来部分实现；如果通过修改内核参数也无法解决的负载问题，也只能考虑升级服务器了。 Linux系统下，TCP/IP连接断开后，会以...
Linux查看tcp内核参数,修改Linux内核参数，减少TCP连接中的TIME-WAIT sockets
weixin_29332779的博客
04-30 239
新增的一组Apache服务器上线以来，我用netstat -an命令发现服务器中有大量状态为TIME-WAIT的TCP连接，于是用/sbin/sysctl -a查看了一下Linux的各项内核参数，并翻阅有关资料，决定修改其中的两项参数，以达到减少TCP连接中TIME-WAIT sockets的目的。vi /etc/sysctl.conf编辑 /etc/sysctl.conf文件，增加三行：net....
TCP连接状态详解及TIME_WAIT过多的解决方法
quliuwuyiz的博客
03-07 1659
1、 time_wait的作用： TIME_WAIT状态存在的理由： 1）可靠地实现TCP全双工连接的终止 在进行关闭连接四次挥手协议时，最后的ACK是由主动关闭端发出的，如果这个最终的ACK丢失，服务器将重发最终的FIN， 因此客户端必须维护状态信息允许它重发最终的ACK。如果不维持这个状态信息，那么客户端将响应RST分节，服务器将此分节解释成一个错误（在java中会抛出connection ...
[转] 再叙TIME_WAIT
weixin_34238642的博客
01-22 196
http://huoding.com/2013/12/31/316 之所以起这样一个题目是因为很久以前我曾经写过一篇介绍TIME_WAIT的文章，不过当时基本属于浅尝辄止，并没深入说明问题的来龙去脉，碰巧这段时间反复被别人问到相关的问题，让我觉得有必要全面总结一下，以备不时之需。 讨论前大家可以拿手头的服务器摸摸底，记住「ss」比「netstat」快： shell> ss -...
TCP的TIME WAIT快速回收与重用
qq_43679771的博客
01-13 920
TCP的TIME WAIT快速回收与重用
为何客户端突然出现大量TIME_WAIT堆积
weixin_44774358的博客
04-26 6298
本文介绍了一个在阿里云环境下某客户端ECS机器上突然发现TIME_WAIT突然增高的问题和排查过程。 问题场景：原来客户端直接访问后端Web服务器，TIME_WAIT数量非常少。现在引入了7层SLB来实现对后端服务器的负载均衡。客户端SLB访问后端服务器，但是发现客户端的TIME_WAIT状态的socket很快累积到4000多个，并且客户反映没有修改任何内核参数。 梳理问题 收到这个信息后，基本上...
内核参数优化和内核编译安装
qq_41986247的博客
02-09 446
内核参数优化和内核编译安装 /proc目录：内核把自己内部状态信息及统计信息，以及可配置参数通过proc伪文件系统加以输出 帮助：man proc 内核参数： 只读：只用于输出信息 可写：可接受用户指定“新值”来实现对内核某功能或特性的配置 /proc/sys 设置 echo命令通过重定向方式也可以修改大多数参数的值 echo "VALUE" > /proc/sys/path/to/...
Android内核的编译和调试
墨鱼菜鸡
04-28 807
本文博客地址：http://blog.csdn.net/qq1084283172/article/details/70500488 一、Android内核源码的选择 Android手机设备内核源码的调试需要外部硬件设备的支持，调试步骤比较麻烦。相对来说，Android模拟器内核源码的调试就比较简单了，这里...
网络：TCP四次挥手
OceanStar的博客
12-05 2576
TIME_WAIT发生的场景 现象：服务的可用性时好时坏，一段时间可以对外提供服务，一段时间又不可以。 查询：通过netstat命令查看，发生主机上有成千上万处于TIME-WAIT状态的连接 分析：当前这个服务需要荣光发起TCP连接对外提供服务。每个连接会占用一个本地接口，当在高并发的情况下，TIME_WAIT状态的连接过多，多到把本机可用的端口耗尽，应用服务对外表现的症状，就是不能正常工作了。当过了一段时间之后，处于TIME_WAIT的连接被系统回收并关闭后，释放出本地端口可供使用，应用服务对外表现为可
内核处理time_wait状态详解
但行好事 莫问前程
01-10 281
这次来详细看内核的time_wait状态的实现，在前面介绍定时器的时候，time_wait就简单的介绍了下。这里我们会先介绍tw状态的实现，然后来介绍内核协议栈如何处理tw状态。 首先我们要知道在linux内核中time_wait的处理是由tcp_time_wait这个函数来做得，比如我们在closing状态收到一个fin，就会调用tcp_time_wait.而内核为time_wait状态的...
TCP四次挥手理解
fangmeng1997的博客
01-17 1345
我们来先看一下TCP 四次挥手的过程和状态变迁，如下图所示： **四次挥手的过程：** - 客户端打算关闭连接，此时会发送一个 TCP 首部 FIN 标志位被置为 1 的报文，也即 FIN 报文，之后客户端进入 FIN_WAIT_1 状态。 - 服务端收到该报文后，就向客户端发送 ACK 应答报文，接着服务端进入 CLOSED_WAIT 状态。 - 客户端收到服务端的 ACK 应答报文后，之后进入 FIN_WAIT_2 状态。 - 等待服务端处理完数据后，也向客户端发送 FIN 报文，之后服务端...
【计算机网络】TCP4次挥手中的TIME_WAIT状态（面试题小结）
flyersboy的博客
06-08 581
1、为什么 TIME_WAIT 等待的时间是 2MSL？ MSL 是 Maximum Segment Lifetime，报⽂最⼤⽣存时间， 它是任何报⽂在⽹络上存在的最⻓时间，超过这个时间报⽂将被丢弃。因为 TCP 报⽂基于是 IP 协议的，⽽ IP 头中有⼀个 TTL 字段，是 IP 数据报可以经过的最⼤路由数，每经过⼀个处理他的路由器此值就减 1，当此值为 0 则数据报将被丢弃，同时发送 ICMP 报⽂通知源主机。 MSL 与 TTL 的区别： MSL 的单位是时间，⽽ TTL 是经过路由跳数。所以 M
TCP连接出现大量TIME_WAIT的解决办法
weixin_33979745的博客
09-10 1355
一个TCP/IP连接断开以后，会通过TIME_WAIT的状态保留一段时间，时间过了才会释放这个端口，当端口接受的频繁请求数量过多的时候，就会产生大量的TIME_WAIT状态的连接，这些连接占着端口，会消耗大量的资源。面对这种情况 可以通过修改TCP/IP的内核参数，来及时的处理这些状态。netstat -n | awk ‘/^tcp/ {++S[$NF]} ...
tcp短连接TIME_WAIT问题解决方法大全（3）——tcp_tw_recycle
热门推荐
华仔-技术博客
11-04 2万+
【tcp_tw_recycle和tcp_timestamps】 参考官方文档（http://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt），tcp_tw_recycle解释如下： tcp_tw_recycle选项作用为：Enable fast recycling TIME-WAIT sockets. Default valu
TCP之再谈解决服务器TIMEWAIT过多的问题
zy531的专栏
01-03 1065
原文地址：TCP之再谈解决服务器TIMEWAIT过多的问题   这个问题在网上已经有很多人讨论过了，再谈这个问题，只是根据我处理过的相关业务来谈谈我的看法。至于什么是TIMEWAIT，我想，并不需要多说。 TIMEWAIT状态本身和应用层的客户端或者服务器是没有关系的。仅仅是主动关闭的一方，在使用FIN|ACK|FIN|ACK四分组正常关闭TCP连接的时候会出现这个TIMEWAIT。服务
【Linux网络编程笔记】TCP短连接产生大量TIME_WAIT导致无法对外建立新TCP连接的原因及解决方法—基础知识篇
slvher的专栏
05-17 1万+
最近遇到一个线上报警：服务器出现大量TIME_WAIT导致其无法与下游模块建立新HTTP连接，在解决过程中，通过查阅经典教材和技术文章，加深了对TCP网络问题的理解。作为笔记，记录于此。         备注：本文主要介绍TCP编程中涉及到的众多基础知识，关于实际工程中对由TIME_WAIT引发的不能建立新连接问题的解决方法将在下篇笔记中给出。 1. 实际问题         初步查看发现，
谈谈TCP中的TIME_WAIT
jewes的专栏
09-24 1万+
在服务端可能会经常遇到有很多处于TIMEWAIT状态的TCP连接。如果上网一搜索，可以找到有很多关于处理TIMEWAIT不正确的博文（包括本文），很多文章就放了几个调整参数。至于这些参数有什么用，为什么要调整为那个值就没有深入地介绍了。这就好像生了病不去找医生了解病情，而是随便从别人的药箱里面找点药来吃，看看有没有效果，也不管别人的药是否过期，是否对症。所以，本文也来凑个热闹，来谈谈TIME_WAI
优化内核参数：TCP连接与TIME_WAIT状态管理
"内核参数参考，关注网络性能优化，涉及TCP/IP连接跟踪、TIME_WAIT状态的处理以及连接超时的调整" 内核参数在Linux系统中扮演着至关重要的角色，它们直接影响系统的性能和稳定性，特别是在网络服务领域。在描述中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值