tcp_tw_reuse、tcp_tw_recycle 使用场景及注意事项

转载 2015年06月08日 15:47:43

linux TIME_WAIT 相关参数:

net.ipv4.tcp_tw_reuse = 0    表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭
net.ipv4.tcp_tw_recycle = 0  表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭
net.ipv4.tcp_fin_timeout = 60  表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间(可改为30,一般来说FIN-WAIT-2的连接也极少)

注意:

- 不像Windows 可以修改注册表修改2MSL 的值,linux 是没有办法修改MSL的,tcp_fin_timeout 不是2MSL 而是Fin-WAIT-2状态。

- tcp_tw_reuse 和SO_REUSEADDR 是两个完全不同的东西。

 

1. tw_reuse,tw_recycle 必须在客户端和服务端timestamps 开启时才管用(默认打开)

2. tw_reuse 只对客户端起作用,开启后客户端在1s内回收

3. tw_recycle 对客户端和服务器同时起作用,开启后在 3.5*RTO 内回收,RTO 200ms~ 120s 具体时间视网络状况。

  内网状况比tw_reuse 稍快,公网尤其移动网络大多要比tw_reuse 慢,优点就是能够回收服务端的TIME_WAIT数量

 

对于客户端

1. 作为客户端因为有端口65535问题,TIME_OUT过多直接影响处理能力,打开tw_reuse 即可解决,不建议同时打开tw_recycle,帮助不大。

2. tw_reuse 帮助客户端1s完成连接回收,基本可实现单机6w/s请求,需要再高就增加IP数量吧。

3. 如果内网压测场景,且客户端不需要接收连接,同时tw_recycle 会有一点点好处。

4. 业务上也可以设计由服务端主动关闭连接

 

对于服务端

1. 打开tw_reuse无效

2. 线上环境 tw_recycle 不要打开

   服务器处于NAT 负载后,或者客户端处于NAT后(这是一定的事情,基本公司家庭网络都走NAT);

 公网服务打开就可能造成部分连接失败,内网的话倒是可以视情况打开;

   像我所在公司对外服务都放在NAT负载后面,负载会把timestamp 都给清空,好吧,就算你打开也不起作用。

3. 服务器TIME_WAIT 高怎么办

   不像客户端有端口限制,处理大量TIME_WAIT Linux已经优化很好了,每个处于TIME_WAIT 状态下连接内存消耗很少,

而且也能通过tcp_max_tw_buckets = 262144 配置最大上限,现代机器一般也不缺这点内存。

    下面像我们一台每秒峰值1w请求的http 短连接服务,长期处于tw_buckets 溢出状态,

tw_socket_TCP 占用70M, 因为业务简单服务占用CPU 200% 运行很稳定。

复制代码

slabtop

262230 251461  95%    0.25K  17482       15     69928K tw_sock_TCP

 ss -s
Total: 259 (kernel 494)
TCP:   262419 (estab 113, closed 262143, orphaned 156, synrecv 0, timewait 262143/0), ports 80

Transport Total     IP        IPv6
*         494       -         -        
RAW       1         1         0        
UDP       0         0         0        
TCP       276       276       0        
INET      277       277       0        
FRAG      0         0         0    
复制代码

唯一不爽的就是:

系统日志中overflow 错误一直在刷屏,也许该把buckets 调大一下了

TCP: time wait bucket table overflow
TCP: time wait bucket table overflow
TCP: time wait bucket table overflow
TCP: time wait bucket table overflow
TCP: time wait bucket table overflow

 

5. 业务上也可以设计由客户端主动关闭连接

 

原理分析

 1. MSL 由来

  发起连接关闭方回复最后一个fin 的ack,为避免对方ack 收不到、重发的或还在中间路由上的fin 把新连接给干掉了,等个2MSL,4min。

  也就是连接有谁关闭的那一方有time_wait问题,被关那方无此问题。

2. reuse、recycle

     通过timestamp的递增性来区分是否新连接,新连接的timestamp更大,那么小的timestamp的fin 就不会fin掉新连接。

3. reuse

     通过timestamp 递增性,客户端、服务器能够处理outofbind fin包

4. recycle

    对于服务端,同一个src ip,可能会是NAT后很多机器,这些机器timestamp递增性无可保证,服务器会拒绝非递增请求连接。

 

 细节之处还得好好阅读tcp 协议栈源码了

 

建议阅读以下参考:

Coping with the TCP TIME-WAITstate on busy Linux servers 

tcp短连接TIME_WAIT问题解决方法大全(3)——tcp_tw_recycle

 tcp短连接TIME_WAIT问题解决方法大全(4)——tcp_tw_reuse

【经验总结】tcp_tw_recycle参数引发的故障

tcp_tw_recycle和tcp_timestamps导致connect失败问题


http://www.cnblogs.com/lulu/p/4149312.html


linux地址重用 net.ipv4.tcp_tw_reuse

http://blog.csdn.net/caianye/article/details/38540867 http://www.cnblogs.com/lulu/p/4149312.html
  • pzqingchong
  • pzqingchong
  • 2016年12月12日 11:19
  • 2426

网络优化之net.ipv4.tcp_tw_recycle参数

来源:http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=403232978&idx=1&sn=4ed396ac1999a...
  • cgm88s
  • cgm88s
  • 2016年06月14日 10:36
  • 4141

【经验总结】tcp_tw_recycle参数引发的故障

tcp_tw_recycle参数引发的故障By Eric 故障描述:    2010年9月7日,新上线的手机游戏论坛有部分地区用户反应登陆游戏时出现不能登陆或登陆超时等情况,观察用户同时在线数量开始下...
  • wireless_tech
  • wireless_tech
  • 2011年05月09日 09:04
  • 24595

不要在linux上启用net.ipv4.tcp_tw_recycle参数

本文为翻译英文BLOG《 Coping with the TCP TIME-WAIT state on busy Linux servers 》,但并非完整的翻译,译者CFC4N对原文理解后,进行...
  • achejq
  • achejq
  • 2016年06月29日 16:49
  • 2878

tcp_tw_reuse、tcp_tw_recycle 使用场景及注意事项

inux TIME_WAIT 相关参数:net.ipv4.tcp_tw_reuse = 0 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭 n...
  • chengfangang
  • chengfangang
  • 2016年08月05日 11:45
  • 1195

Centos6修改sysctl.conf报错解决方法

这几天一直在折腾VPS优化,openvz构架的,在做linux内核优化的时候,执行/sbin/sysctl -p老报错: error: "net.bridge.bridge-nf-call-ip6ta...
  • u014659211
  • u014659211
  • 2016年04月01日 17:04
  • 1540

threadlocal原理及常用应用场景

想必很多朋友对ThreadLocal并不陌生,今天我们就来一起探讨下ThreadLocal的使用方法和实现原理。首先,本文先谈一下对ThreadLocal的理解,然后根据ThreadLocal类的源码...
  • sonny543
  • sonny543
  • 2016年05月07日 10:09
  • 12786

tcp_tw_reuse、tcp_tw_recycle 使用场景及注意事项

转载地址:http://www.cnblogs.com/lulu/p/4149312.html linux TIME_WAIT 相关参数: net.ipv4.tcp...
  • chengfangang
  • chengfangang
  • 2015年11月11日 10:05
  • 550

tcp_tw_reuse、tcp_tw_recycle 使用场景及注意事项

转载自http://www.cnblogs.com/lulu/p/4149312.html linux TIME_WAIT 相关参数: net.ipv4.tcp_tw_reuse ...
  • Condottierezhoujw
  • Condottierezhoujw
  • 2017年10月19日 11:16
  • 86

记录一次,三次握手中缺少第二次握手导致的问题(即缺少SYN ACK返回,实际是tcp_tw_recycle设置导致的问题)

三次握手中缺少第二次握手导致的问题阿里云新购的ECS,镜像使用的微柳科技的Centos7+PHP环境,实际使用中发现如下现象: 1.公司IP/某常用IP经常无故无法连接服务器(包括ssh-22,my...
  • kk1946n
  • kk1946n
  • 2017年10月24日 10:54
  • 104
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:tcp_tw_reuse、tcp_tw_recycle 使用场景及注意事项
举报原因:
原因补充:

(最多只允许输入30个字)