TCP相关内核参数调优

最新推荐文章于 2024-07-10 09:34:20 发布
最新推荐文章于 2024-07-10 09:34:20 发布
阅读量699 收藏 6
点赞数
分类专栏： 系统调优 文章标签： TCP 系统调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ledrsnet/article/details/118189975
版权

TCP学习资料强烈推荐小林Coding，画的图是真心好，下面的大部分参数介绍都摘自通过小林Coding的 图解网络-TCP篇了解到：
https://wwr.lanzoui.com/iUqoUovm6wf

大佬CSDN：
https://blog.csdn.net/qq_34827674?spm=1001.2014.3001.5509

内核TCP参数优化

# TCP kernel paramater
net.ipv4.tcp_mem = 786432 1048576 1572864
net.ipv4.tcp_rmem = 4096        87380   4194304
net.ipv4.tcp_wmem = 4096        16384   4194304
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1

# socket buffer
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 20480
net.core.optmem_max = 81920

# TCP conn
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_syn_retries = 3
net.ipv4.tcp_retries1 = 3
net.ipv4.tcp_retries2 = 15
net.ipv4.tcp_max_tw_buckets = 20000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syncookies = 1

# tcp conn reuse
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_fin_timeout = 1

# keepalive conn
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.ip_local_port_range = 10001    65000

TCP状态切换

客户机端的三次握手和四次挥手状态转换
在这里插入图片描述

服务器端的三次握手和四次挥手状态转换
在这里插入图片描述
连接停留在FIN_WAIT_2状态的情况可能发生在：客户端执行半关闭后，未等服务器关闭连接就强行退出了。此时客户端连接由内核来接管，可称之为孤儿连接（和孤儿进程类似）

1. Linux为了防止孤儿连接长时间存留在内核中，定义了三个内核参数：
/proc/sys/net/ipv4/tcp_max_orphans #指定内核能接管的孤儿连接数目 默认8192
/proc/sys/net/ipv4/tcp_fin_timeout #指定孤儿连接在内核中生存的时间 默认60s
/proc/sys/net/ipv4/tcp_orphan_retries = 0 #指定了FIN报文最多重发多少次，默认0，源码判断如果为0那就是特指8
2. TCP的TIME-WAIT连接状态相关参数
net.ipv4.tcp_max_tw_buckets #TIME-WAIT状态是很重要的，但是也消耗着系统资源，当 TIME_WAIT 的连接数量超过该参数时，新关闭的连接就不再经历 TIME_WAIT ⽽直接关闭： 
net.ipv4.tcp_tw_reuse # 1表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认值为0，表示关闭
net.ipv4.tcp_tw_recycle #不建议开启，会加速time_wait时间容易引起数据错乱，另外在nat，lvs环境会有大问题。在 Linux 4.12 版本后，Linux 内核直接取消了这⼀参数，建议关闭它

注意，要使用这一选项，需要开启时间戳的支持
net.ipv4.tcp_timestamps

2.1 TIME-WAIT状态的作用是什么?
  1. 防⽌收到历史数据（相同四元组（源IP，目的IP，源端口，目的端口）的旧数据包），从⽽导致数据错乱的问题
  2. 确保被动关闭方 能够正常关闭连接。即保证最后的 ACK 能让被动关闭⽅接收，从⽽帮助其正常关闭；
2.3 MSL是什么？

Max Segment Lifetime 一个报文在网络中的最大生存时间

2.4 2MSL时长是多少？

60s

2.5 为什么是2倍的MSL？

这其实是相当于⾄少允许报⽂丢失⼀次。⽐如，若 ACK 在⼀个 MSL 内丢失，这样被动⽅重发的 FIN 会在第 2 个 MSL 内到达，TIME_WAIT 状态的连接可以再次响应ACK

3. sync半连接和accept全连接队列

linuxkernel2.2版本之后增加

3.1 修改半连接队列的大小

tcp连接处于半开连接的都会放到syns queue队列中。
/proc/sys/net/ipv4/tcp_max_syn_backlog #未完成连接队列大小，默认值128,建议调整大小为1024以上

注意：半连接队列最大并不完全依赖于tcp_max_syn_backlog，还有可能依赖于全连接队列大小的值来决定，根据内核版本不同的定义可能不同。

3.1.2 如何查看 TCP 半连接队列⻓度？

ss -tln只能查看全连接队列，不能查看半连接队列，可以通过统计 SYN_RECV状态的连接
ss -tanp |grep SYN_RECV |wc -l

如何得知TCP半连接是否溢出了？
netstat -s | grep "SYNs to LISTEN" #每隔几秒查看一次，增加即是溢出了

3.1.3 TCP半开连接队列满了之后的策略
  1. 如果半连接队列满了，并且没有开启 tcp_syncookies，则会丢弃；
  2. 若全连接队列满了，且没有重传 SYN+ACK 包的连接请求多于 1 个，则会丢弃；
  3. 如果没有开启 tcp_syncookies，并且 max_syn_backlog 减去 当前半连接队列⻓度⼩于 (max_syn_backlog>> 2)，则会丢弃

tcp_syncookies 默认开启1，值为1表示，当半连接队列满之后启用syncookies，服务器根据当前状态计算出⼀个值，放在⼰⽅发出的 SYN+ACK 报⽂中发出，当客户端返回 ACK 报⽂时，取出该值验证，如果合法，就认为连接建⽴成功

3.1.4 如何防御 SYN 攻击？

增⼤半连接队列；
开启 tcp_syncookies 功能
减少 SYN+ACK 重传次数

3.2 修改完全连接队列的大小

完全建立连接的会放到accept queue队列中。
TCP 全连接队列的最⼤值取决于 somaxconn 和 backlog 之间的最⼩值，也就是 min(somaxconn, backlog)
backlog是 listen(int sockfd, int backlog) 函数中的 backlog ⼤⼩，Nginx 默认值是511，可以通过修改配置⽂件设置其⻓度；
listen 8088 default backlog=5000
nignx -s reload 重新加载可以生效

/proc/sys/net/core/somaxconn #完成连接队列大小，默认值128,建议调整大小为1024以上

3.2.1 如何知道应⽤程序的 TCP 全连接队列⼤⼩？
#ss -tln	
「listen状态」的Recv-Q\Send-Q含义如下：
Recv-Q：当前全连接队列的⼤⼩，也就是当前已完成三次握⼿并等待服务端 accept() 的 TCP 连接；
Send-Q：当前全连接最⼤队列⻓度，上⾯的输出结果说明监听 8088 端⼝的 TCP 服务，最⼤全连接⻓度为128；
在「⾮ LISTEN 状态」时， Recv-Q/Send-Q 表示的含义如下
Recv-Q：已收到但未被应⽤进程读取的字节数；
Send-Q：已发送但未收到确认的字节数；
3.2.2 如何得知TCP全连接是否溢出了？

netstat -s|grep overflow #用来查看是否溢出了，没有返回则没有溢出。

3.2.3 TCP全连接满了之后会进行什么操作？

tcp_abort_on_overflow控制着当TCP全连接队列满了之后，使用什么策略来回复客户端。

  • 0 丢弃client发过来的ack，默认值
  • 1 直接回复reset报文断开连接，客户端可以看到connection reset by peer 的错误

通常设置为0，举个例子
当 TCP 全连接队列满导致服务器丢掉了 ACK，与此同时，客户端的连接状态却是 ESTABLISHED，进程就在建⽴好的连接上发送请求。只要服务器没有为请求回复 ACK，请求就会被多次重发。如果服务器上的进程只是短暂的繁忙造成 accept 队列满，那么当 TCP 全连接队列有空位时，再次接收到的请求报⽂由于含有 ACK，仍然会触发服务器端成功建⽴连接。

4.如何绕过三次握⼿？

linux内核3.7之后，提供了Fast Open选项字段实现快速功能
第一遍三次握手的时候，服务器会发给客户端一个cookie，下次再发起tcp连接时 可以将syc和cookie和请求的数据一起发给服务端，服务端校验通过之后可以直接返回数据，无需等待客户端的第三次握手ack.

4.1 Linux 下怎么打开 TCP Fast Open 功能呢？

tcp_fastopn 各个值的意义:

  • 0 关闭
  • 1 作为客户端使⽤ Fast Open 功能
  • 2 作为服务端使⽤ Fast Open 功能
  • 3 ⽆论作为客户端还是服务器，都可以使⽤ Fast Open 功能

TCP Fast Open 功能需要客户端和服务端同时⽀持，才有效果。

5.TCP 第⼀次握⼿ SYN 丢包会发生什么？

超时重传，重传6次，net.ipv4.tcp_syn_retries 这个参数控制着tcp syn第一次请求超时重传的次数。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_syn_retries,默认值为6
每次RTO（超时重传）时间呈指数级增长，1,2,4,8,16,32

6. TCP第二次 握手SYN、ACK 丢包会发生什么？

客户端收不到服务端第二次的响应会重传tcp_syn_retries 次，每次重传会触发服务端响应syn、ack报文。
服务端发出syn、ack报文收不到客户端ack，也会超时重传。net.ipv4.tcp_synack_retries 参数的值决定了重传SYN+ACK包第二个请求的数量。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_synack_retries,默认值为5

7.TCP第三次握手ack丢包会发生什么？

客户端发送syn到服务器，服务器响应syn、ack到客户端，此时客户端的状态时established，服务端状态是SYN_RECV的。
客户端响应给服务端的ack丢包之后，服务端会超时重传synack_retries次，超过次数服务端连接就会断开消失。
如果客户端一直没有发送数据包，那么客户端的状态会一直处于Established，当客户端开始发送数据包时，会得不到响应，则会一直超时重传/proc/sys/net/ipv4/tcp_retries2次，客户端才断开连接。

当重传次数超过tcp_retries1就会指示 IP 层进⾏ MTU 探测、刷新路由等过程，并不会断开TCP连接，
当重传次数超过tcp_retries2 才会断开TCP流。

7.1 如果客户端一直不发送数据，那么这个死链接会保持多久？

net.ipv4.tcp_keepalive_time=7200
net.ipv4.tcp_keepalive_intvl=75
net.ipv4.tcp_keepalive_probes=9

当连接建立之后一直没有数据发送，等到7200s（2小时）之后才会启动保活机制，每隔75s发送一次探测报文，最多探测9次，也就是等待
7200+75*9 2个小时11分15秒linux才能发现一个死亡连接

8. TCP传输相关

net.ipv4.tcp_window_scaling 默认开启，支持扩展窗口
tcp的窗口字段才16个字节，意味着窗口大小最多支持2^16=65536个字节，也就是64k。这很明显是不够用的，通过额外使用tcp选项字段里的扩展窗口 2^14*2^16最大可以支持1G

8.1 缓冲区大小的调整

尽量将发送缓冲区的大小往带宽时延积靠近。
带宽时延积=RTT*带宽
⽐如最⼤带宽是 100 MB/s，⽹络时延（RTT）是 10ms 时，意味着客户端到服务端的⽹络⼀共可以存放 100MB/s* 0.01s = 1MB 的字节

  • 发送缓冲区超出带宽时延积有可能造成网络拥塞
  • 小于带宽时延积则达不到最高的网络利用率。

net.ipv4.tcp_wmem 根据设定的范围动态调节TCP发送缓冲区

  • 第⼀个数值是动态范围的最⼩值，4096 byte = 4K；
  • 第⼆个数值是初始默认值，87380 byte ≈ 86K；
  • 第三个数值是动态范围的最⼤值，4194304 byte = 4096K（4M）；

net.ipv4.tcp_rmem根据设定的范围动态调节TCP接受缓冲区

  • 第⼀个数值是动态范围的最⼩值，表示即使在内存压⼒下也可以保证的最⼩接收缓冲区⼤⼩，4096 byte =4K；
  • 第⼆个数值是初始默认值，87380 byte ≈ 86K；
  • 第三个数值是动态范围的最⼤值，6291456 byte = 6144K（6M）；

tcp_moderate_rcvbuf发送缓冲区的自动调节功能是开启的，而接受缓冲区的自动调节功能是根据tcp_moderate_rcvbuf 值来开启的，1表示开启。

8.2 什么时候动态调整接收缓冲区呢？

这是通过 tcp_mem 配置完成的：
net.ipv4.tcp_mem = 22161 29548 44322
上⾯三个数字单位不是字节，⽽是「⻚⾯⼤⼩」，1 ⻚表示 4KB，它们分别表示：

  • 当 TCP 内存⼩于第 1 个值时，不需要进⾏⾃动调节；
  • 在第 1 和第 2 个值之间时，内核开始调节接收缓冲区的⼤⼩；
  • ⼤于第 3 个值时，内核不再为 TCP 分配新内存，此时新连接是⽆法建⽴的；
清枫cc
关注
专栏目录
linux kernel 三次握手建立TCP链接的实现
ARM-Linux
11-17 628
1. 应用层 1.1 server socket() -> bind() -> listen() -> accept() -> recv() & send() 1.2 client socket() -> connect() -> send() & recv() 1.3 三次握手建立连接 (1) 客户端发送一个 SYN 段（SYN 标志位置位），包含初始序号 ISN，在图中，这个序号的值 seq = 2379453...
Linux内核参数调优
悦分享
07-21 3782
为了应付这种攻击，现代Unix系统中普遍采用多连接队列处理的方式来缓冲(而不是解决)这种攻击，是用一个基本队列处理正常的完全连接应用(Connect()和Accept())，是用另一个队列单独存放半打开连接。在/proc/sys目录下存放着大多数的内核参数，并且设计成可以在系统运行的同时进行更改,可以通过更改/proc/sys中内核参数对应的文件达到修改内核参数的目的(修改过后，保存配置文件就马上自动生效)，不过重新启动机器后之前修改的参数值会失效，所以只能是一种临时参数变更方案。...
linux kernel tcp参数调优
focus on security
03-15 435
TCP linux kernel 调优参数 2.6.32 标准内核 描述 默认值 优化值 /proc/sys/net/core/rmem_default 默认的TCP数据接收窗口大小（字节）。 229376 2...
TCP中的2MSL详解
最新发布
qq_62311779的博客
07-10 671
MSL是一个TCP段在网络中可以存活的最长时间，2MSL就是两倍的这个时间。让网络中的TCP报文段自然消失。防止"老"数据包在网络中滞留。
Kernel TCP连接处理
wjian1997的博客
08-08 437
最大化Linux中的TCP吞吐量:理解和调优发送和接收缓冲区
fuyuande的博客
04-12 6113
TCP发送和接收缓存
网络内核参数net.ipv4.tcp_syn_retries的含义和效果测试
nangonghen的博客
04-11 4931
tcp_syn_retries和验证测试
深入讲解Linux上TCP的几个内核参数调优
youzhangjing_的博客
11-18 1392
Kdump会在内存中保留一块区域，这个区域用于存放捕获内核，生产内核运行过程中崩溃时，Kdump通过Kexec机制自动启动捕获内核，对生产内核的完整信息（CPU寄存器、栈帧数据等）进行保存，生产内核重启后，使用Crash工具来分析这个转储的文件。进入时间对应的目录，目录包含dmesg文件和dump文件，文件后缀为内核崩溃的时间，其中dmesg是生产内核发生崩溃时生成的内核日志信息，dump时捕获内核转储的文件，如下图所示。捕获内核启动后，会像一般内核一样，去运行为它创建的ramdisk上的init程序。
FreeBSD系统优化部分内核参数调优中文解释
03-23
FreeBSD系统优化部分内核参数调优中文解释。#最大的接受TCP缓冲区空间net.inet.tcp.recvspace=65536#最大的接受UDP缓冲区大小net.inet.udp.sendspace=65535#最大的发送UDP数据缓冲区大小 　#最大的接受TCP缓冲区空间...
一文了解Linux上TCP的几个内核参数调优
m0_74282605的博客
11-26 1228
在tcp_tw_recycle=1同时tcp_timestamps(默认开启的情况下),对同一个IP的连接会做这样的限制，也即之前后建立的连接的时间戳必须要大于之前建立连接的最后时间戳，但是经过NAT的一个IP后面是不同的机器，时间戳相差极大，就会导致内核直接丢弃时间戳较低的连接的现象。但是，有些代码可能会有忘了设置timeout的情况，例如某个版本的Kafka就是，所以它在我们一些混沌测试的情况下，容灾恢复的时间会达到一分多钟，主要时间就是卡在connect上面-_-!内核TCP连接缓冲队列的设置。
Linux上TCP的几个内核参数调优及Linux多线程应用性能分析
m0_67322837的博客
05-25 766
Linux作为一个强大的操作系统，提供了一系列内核参数供我们进行调优。光TCP的调优参数就有50多个。在和线上问题斗智斗勇的过程中，笔者积累了一些在内网环境应该进行调优的参数。在此分享出来，希望对大家有所帮助。 调优清单 好了，在这里先列出调优清单。请记住，这里只是笔者在内网进行TCP内核参数调优的经验，仅供参考。同时，笔者还会在余下的博客里面详细解释了为什么要进行这些调优！ tcp_max_syn_backlog,somaxconn,tcp_abort_on_overflow tcp_max_
详解Linux系统如何防止TCP洪水攻击
01-11
#最关键参数，默认为5，修改为0 表示不要重发 net.ipv4.tcp_synack_retries = 0 #半连接队列长度 net.ipv4.tcp_max_syn_backlog = 200000 #系统允许的文件句柄的最大数目，因为连接需要占用文件句柄 fs.file-max = 819200 #用来应对突发的大并发connect 请求 net.core.somaxconn = 65536 #最大的TCP 数据接收缓冲（字节） net.core.rmem_max = 1024123000 #最大的TCP 数据发送缓冲（字节） net.core.wmem_max = 16777216
TCP重传与超时（Linux）
GAGA__CHEN的专栏
12-06 4379
TCP重传与超时
Linux 系统优化相关经验总结
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
10-28 2101
一、背景 我们在系统运维过程中，尤其业务负载高或复杂的场景中，可能出现系统瓶颈影响业务运行的情况，甚至造成系统宕机等风险，这是我们必要情况需要对系统参数进行优化处理来缓解这种压力和风险，本文即对日常运维过程常见的维护经验总结汇总，以供后续工作参考。 二、优化处理 2.1 关于内核参数的优化 1）swap优化 如果服务器上有运行数据库服务或消息中间件服务，请关闭交换分区 echo “vm.swappiness = 0” >> /etc/sysctl.conf sysctl -p 2）OOM 误Ki
TCP: time wait bucket table overflow 过多的解决方式
kjsayn的博客
11-30 1392
由于服务器内存过高，登录阿里云自带的远程VNC远程连接查看原因，登录发现一大堆的TCP: time wait bucket table overflow 然后查了一下，发现有4000多条就开始报了。 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' TCP: time wait bucket table overflow产生原因及影响： 原因是超过了linux系统tw数量的阀值。危害是超过阀值后﹐系统会
Linux内核调优部分参数说明
weixin_34082789的博客
04-10 272
#接收套接字缓冲区大小的默认值(以字节为单位)。net.core.rmem_default = 262144#接收套接字缓冲区大小的最大值(以字节为单位)。net.core.rmem_max = 16777216#发送套接字缓冲区大小的默认值(以字节为单位)。net.core.wmem_default = 262144#发送套接字缓冲区大小的最大值(以字节为单位)。net.c...
/proc/sys/net/ipv4/ 下网络参数的理解以及sysctl命令修改内核参数
热门推荐
每天进步一点点。。。的博客
11-01 5万+
/proc/sys/net/ipv4/下文件详细解释： 1) /proc/sys/net/ipv4/ip_forward   该文件表示是否打开IP转发。   0，禁止   1，转发   基本用途：如VPN、路由产品的利用；   出于安全考虑，Linux系统默认是禁止数据包转发的。所谓转发即当主机拥有多于一块的网卡时，其中一块收到数据包，根据数据包的目的ip地址将包
http长连接200万尝试及调优
momo
07-21 831
对于一个server，我们一般考虑他所能支撑的qps，但有那么一种应用， 我们需要关注的是它能支撑的连接数个数，而并非qps，当然qps也是我们需要考虑的性能点之一。这种应用常见于消息推送系统，也称为comet应用，比如聊天室或即时消息推送系统等。comet应用详细介绍可见我之前
高性能网络编程（七）TCP连接的内存使用
傅红雪的专栏
02-18 559
当服务器的并发TCP连接数以十万计时，我们就会对一个TCP连接在操作系统内核上消耗的内存多少感兴趣。socket编程方法提供了SO_SNDBUF、SO_RCVBUF这样的接口来设置连接的读写缓存，linux上还提供了以下系统级的配置来整体设置服务器上的TCP内存使用，但这些配置看名字却有些互相冲突、概念模糊的感觉，如下（sysctl -a命令可以查看这些配置）： net.ipv4.tcp_rmem = 8192 87380 16777216 net.ipv4.tcp_wmem = 8192 65536
linux tcp内核参数调优
05-31
对于 Linux 系统，可以通过修改 /etc/sysctl.conf 文件来调整 TCP 内核参数。以下是一些常见的 TCP 内核参数及其建议值： 1. 调整 TCP 缓冲区大小： ``` net.ipv4.tcp_rmem = 4096 65536 8388608 net.ipv4.tcp_wmem = 4096 65536 8388608 ``` 建议值：根据实际网络带宽和延迟情况进行调整，可以使用工具如 sysctl 工具和 tcpdump 工具进行测试。 2. 调整 TCP 连接超时参数： ``` net.ipv4.tcp_synack_retries = 2 net.ipv4.tcp_fin_timeout = 30 ``` 建议值：tcp_synack_retries 建议值为 2 或 3，tcp_fin_timeout 建议值为 30 或 60。 3. 启用 TCP Keepalive： ``` net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_keepalive_intvl = 60 net.ipv4.tcp_keepalive_probes = 5 ``` 建议值：tcp_keepalive_time 建议值为 1200 秒（20 分钟），tcp_keepalive_intvl 建议值为 60 秒，tcp_keepalive_probes 建议值为 5。 4. 调整 TCP 拥塞控制算法： ``` net.ipv4.tcp_congestion_control = bbr ``` 建议值：可根据实际网络环境和应用场景选择不同的 TCP 拥塞控制算法，如 bbr、cubic 等。 5. 调整 TCP 时间戳选项： ``` net.ipv4.tcp_timestamps = 1 ``` 建议值：启用 TCP 时间戳选项可以提高数据传输效率，建议值为 1。 需要注意的是，在修改 TCP 内核参数之前，请确保了解每个参数的作用和影响，并进行适当的测试和验证。修改后需要使用 sysctl -p 命令使参数生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清枫cc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值