CentOS7 内核版本3.10 内核参数调优参考

查看网络上大部分内核参数文档，整理出如下内容，如有错误请指正，过程很辛苦，转载请附上原地址。

前言

常用的Linux内核参数，具体优化值要参考应用场景。

通过/var/log/message查看系统日志或dmesg命令查看开机信息，对相应信息做系统参数调优；还可根据TCP状态进行TCP相关参数调优。

以CentOS7，内核版本3.10的服务器为例。

针对系统

配置在/etc/sysctl.conf中，可通过命令sysctl -a查看内核参数。

全局参数

文件句柄

fs.file-max

表示系统级别的能够打开的文件句柄的数量，直接限制最大并发连接数。是对整个系统的限制，并不是针对用户的。

系统当前打开的文件描述符个数：cat /proc/sys/fs/file-nr。

file-nr中的三个值表示已分配的文件句柄数、已分配但未使用的文件句柄数（Linux 2.6总是将0报告为可用文件句柄数）以及最大文件句柄数（等于file-max）。

默认值：在系统启动时，根据内存计算得出。

参考值：一般为内存大小（KB）的10%来计算：grep -r MemTotal /proc/meminfo | awk  '{printf("%d",$2/10)}'

fs.nr_open

单进程能够打开的最大文件句柄数。

使用cat /proc/sys/fs/nr_open查看。

默认值：1048576（1024*1024）

参考值：默认值足够使用，根据实际高并发连接数修改。

net.core.somaxconn

调节系统同时发起的TCP连接数。高并发情况下，该值越小，越容易出现超时情况。

TCP 建立连接时要经过3次握手。对于服务器而言，一个完整的连接建立过程，服务器会经历2种 TCP 状态：SYN_REVD，ESTABELLISHED。

一个存放SYN_REVD状态的队列（半连接队列）；一个存放ESTABELLISHED状态的队列（全连接队列）。后端应用程序会从全连接队列获取请求。

如果服务器需要处理高并发，需要修改这2个队列大小，也就是需要同时设置应用层的backlog及内核参数somaxconn、tcp_max_syn_backlog来满足高并发要求。

半连接队列长度 = min(backlog, net.core.somaxconn, tcp_max_syn_backlog)

全连接队列长度 = min(backlog, net.core.somaxconn)

backlog：

服务器端TCP的ESTABELLISHED状态对应的全连接队列长度。

在Tomcat里是Connector中的acceptCount（默认值为128）。

在Nginx（默认值为511）里是

server{

    listen  8080  default_server  backlog=1024;

}

backlog <= somaxconn

查看一个程序最终生效的accept队列的大小：ss -tnl输出结果中当处于listen状态时Send-Q的值即为accept队列大小。

somaxconn和tcp_max_syn_backlog区别：

tcp_max_syn_backlog是半连接上限，例如场地容纳多少人，net.ipv4.tcp_syncookies = 1时该参数无效；

somaxconn是全连接上限，例如场地仅有多少个座位。

默认值：128

参考值：262144

相关技术参考：

https://www.cnblogs.com/grey-wolf/p/10999342.html

https://jaminzhang.github.io/linux/understand-Linux-backlog-and-somaxconn-kernel-arguments/

https://blog.51cto.com/wujianwei/2104779

套接字缓存

net.core.netdev_max_backlog

当每个网络接口接受数据包的速率比内核处理速率快时，允许发送到队列的数据包的最大数。

内核从网卡收到数据包后，交由协议栈（如IP、TCP）处理之前的缓冲队列。每个CPU核都有一个backlog队列，当协议栈处理速度满足不了接收包速率时会发生丢包。

查看数据处理情况：cat /proc/net/softnet_stat

每一行代表一个CPU。

第一列为该CPU所接收到的所有数据包。

第二列为该CPU缺省queue满的时候，所删除的包的个数。如果该列有数据，则通过net.core.netdev_max_backlog调整。

第三列表示time_squeeze，一次的软中断的触发还不能处理完目前已经接收的数据，因而要设置下轮软中断，time_squeeze 就表示设置的次数。

第四至八列固定为0，没有意义。

第九列表示发送数据包时，对应的队列被锁住的次数。

最后一列，该CPU向其它CPU发送的ipi中断个数。

默认值：1000

参考值：262144

相关技术参考：

https://blog.csdn.net/zgy666/article/details/104391160

https://www.lmlphp.com/user/57878/article/item/707848/

net.core.rmem_default

内核接收套接字缓冲区大小的缺省值（以字节为单位），包括TCP、UDP等。

应用程序通过socket系统调用和远程主机进行通讯，每一个socket都有一个读写缓冲区。

读缓冲区保存了远程主机发送过来的数据，如果读缓冲区已满，则数据会被丢弃。

查看socket状态：cat /proc/net/sockstat，根据所有套接字使用量配置。

sockets: used：已使用的所有协议套接字总量

TCP: inuse：正在使用（正在侦听）的TCP套接字数量。其值 <= netstat -lnt | grep ^tcp | wc -l

TCP: orphan：无主（不属于任何进程）的TCP连接数（无用、待销毁的TCP socket数）

TCP: tw：等待关闭的TCP连接数。其值等于netstat -ant | grep TIME_WAIT | wc -l

TCP: alloc：已分配的TCP套接字数量。其值等于netstat -ant | grep ^tcp | wc -l

TCP: mem：套接字缓冲区使用量，单位未查到。

UDP: inuse：正在使用的UDP套接字数量

FRAG：使用的IP段数量

默认值：212992

参考值：需要根据业务逻辑和实际的硬件成本来综合考虑。

相关技术参考：

https://zhuanlan.zhihu.com/p/426388054

https://www.cnblogs.com/zengkefu/p/5749009.html

http://www.2cto.com/os/201307/230154.html

https://www.sudops.com/linux-kernel-tcp-ip-sysctl-optimize.html

net.core.wmem_default

内核发送套接字缓冲区大小的缺省值（以字节为单位）。

写缓冲期保存了要发送到远程主机的数据，如果写缓冲区已满，则应用程序在写入数据时会阻塞。

wmem_default高于tcp_wmem。

默认值：212992

参考值：同rmem_default

net.core.rmem_max

内核接收套接字缓冲区大小的最大值（以字节为单位）。

通过dmesg命令查看，发现大量TCP: too many of orphaned sockets或out of socket memory错误或提示consider tuning tcp_mem时，需要调优。

cat /proc/net/sockstat 查看套接字使用情况，根据所有套接字使用量配置。

默认值：212992

参考值：需要根据业务逻辑和实际的硬件成本来综合考虑。

net.core.wmem_max

内核发送套接字缓冲区大小的最大值（以字节为单位）。用来限制监听(LISTEN)队列最大数据包的数量，超过这个数量就会导致链接超时或者触发重传机制。

默认值：212992

参考值：同rmem_max。

TCP参数

TCP套接字缓存

net.ipv4.tcp_mem

系统全局参数，所有TCP socket的buffer配置（以内存页为单位，页大小：getconf PAGE_SIZE）。

假设一个page大小是4K，设置的page数 * 4k即是内存数值。

如net.ipv4.tcp_mem = 378864 505153 757728，那么对应的内存分配就是：1480M 1973M 2960M。

通过dmesg命令查看，发现大量TCP: too many of orphaned sockets或out of socket memory错误或提示consider tuning tcp_mem时，需要调优。

根据cat /proc/net/sockstat（套接字状态）和netstat -an|awk '{print $NF}' | sort | uniq -c | sort -nr | head -10（TCP连接状态）结果，调整相应的值。

调整tcp前，必须调整core，不能超出core的限制。

low：内存使用的下限。当TCP使用了低于该值时，TCP不会考虑释放内存。

pressure：内存压力模式开始对缓冲区使用应用压力的上限。当TCP使用了超过该值时，TCP试图稳定内存使用。

high：内存上限。如果超过该值，系统拒绝分配socket，抛出“out of socket memory”。

默认值：根据机器自身内存情况进行分配。

参考值：

pressure = 每个连接占用大小 * 最大并发量 / 页大小

high = pressure * 1.5

相关技术参考：

https://www.cnblogs.com/51core/articles/13683820.html

https://www.cnblogs.com/huanxiyun/articles/7521694.html

net.ipv4.tcp_wmem

TCP发送套接字缓存的内存最小值、默认值、最大值（以字节为单位），缓存应用程序的数据，被确认的数据会从发送缓冲区删除掉。

最小值：为TCP socket预留用于发送缓冲的内存最小值。

默认值：为TCP socket预留用于发送缓冲的内存数量，该值会覆盖net.core.wmem_default，一般要低于net.core.wmem_default。

最大值：用于TCP socket发送缓冲的内存最大值，不会覆盖net.core.wmem_max

默认值：4096 16384 [介于64K和4MB之间，具体取决于RAM大小]

参考值：

默认值 = 最大页面大小 * 最大并发量

最大值(字节) = 带宽(Mebibites) * 延时(s) / 8 * 2^20，如带宽为1.5M，延时500ms，则tcp_wmem = 1.5 * 0.5 / 8 * 2^20 = 1048576

或者最大值 = 默认值 * 2

相关技术参考：

http://www.2cto.com/os/201307/230154.html

net.ipv4.tcp_rmem

TCP接收套接字缓存的内存最小值、默认值、最大值（以字节为单位），缓存从对端接收的数据，后续会被应用程序读取。

默认值会覆盖net.core.rmem_default。

最大值最好是默认值的两倍，不会覆盖net.core.rmem_max。

默认值：4096 87380 [介于87380字节和6MB之间，取决RAM大小]

参考值：同tcp_wmem

TCP建立连接

net.ipv4.tcp_max_syn_backlog

记录尚未收到客户端确认信息的连接请求的最大值（三次握手建立阶段接受SYN请求，半连接队列）。设置大一些可使出现Nginx繁忙来不及接收新连接时，Linux不至于丢失客户端发起的链接请求。

net.ipv4.tcp_syncookies = 1时该参数无效。

默认值：1024

参考值：262144

相关技术参考：

https://www.cnblogs.com/lpfuture/p/12090045.html

net.ipv4.tcp_syn_retries

设置内核放弃建立连接之前向客户端发送SYN包的数据，即客户端发起SYN连接，如果超时会进行重传的次数。

默认值：6，不应高于127

参考值：对于大负载而物理通信良好的网络而言，可修改为2。

相关技术参考：

https://blog.csdn.net/bytxl/article/details/46437363

net.ipv4.tcp_syncookies

当半连接的请求数量超过了tcp_max_syn_backlog时，内核就会启用SYN cookie机制，不再把半连接请求放到队列里，而是用SYN cookie来检验，可防范部分 SYN 攻击。

但开启后会使用 SHA1 验证 Cookies，理论上会增大 CPU 使用率。

该选项千万不能用于那些没有收到攻击的高负载服务器，如果在日志中出现syn flood消息，但是调查发现没有收到syn flood攻击，而是合法用户的连接负载过高的原因，你应该调整以下参数来提高服务器性能：tcp_max_syn_backlog、tcp_synack_retries、tcp_abort_on_overflow。

默认值：0

参考值：1

net.ipv4.tcp_synack_retries

设置内核放弃TCP连接之前向客户端发送SYN+ACK包的数据（三次握手中的第二次握手）。当为1时，内核在放弃连接之前再发送一次SYN+ACK包。

默认值：5

参考值：1，根据tcp_syn_retries决定该值。

TCP关闭连接

net.ipv4.tcp_max_orphans

设定系统中最多允许存在多少TCP套接字不被关联到任何一个用户文件句柄上。为了防止简单的DOS攻击。如果超过这个数字，孤立链接将立即被复位并输出警告信息。

主动关闭端发送了FIN后转到FIN_WAIT_1，这时TCP连接就不属于某个进程了。每个孤儿(orphan)套接字最多能吃掉64K不可交互的内存。

默认值：8192

参考值：根据cat /proc/net/sockstat中orphan的值，来判断是否需要调整。

相关技术参考：

https://www.sudops.com/debian-kernel-socket-memory.html

net.ipv4.tcp_orphan_retries

控制主动关闭端发送FIN，没有收到回应，重复发送FIN的次数。由于发送了FIN，处于FIN_WAIT_1状态。

如果设置为0，则socket会永远停留在FIN_WAIT_1这个状态。

默认值：8

参考值：如果系统是负载很大的web服务器﹐那么也许需要降低该值，参考值为3。

net.ipv4.tcp_fin_timeout

如果socket由服务端要求关闭，则该参数决定了保持在FIN-WAIT-2状态的时间，即指定孤儿连接在内核中生存的时间。

默认值：60

参考值：30

net.ipv4.tcp_max_tw_buckets

timewait的数量，最大值为262144。如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。

建议减小，避免TIME_WAIT状态过多消耗整个服务器的资源，但也不能太小，跟后端的处理速度有关，如果速度快可以小，速度慢则适当加大，否则高负载会有请求无法响应或非常慢。

默认值：180000

参考值：6000

net.ipv4.tcp_tw_recycle

TCP连接中TIME-WAIT的sockets快速回收功能。同时开启的话，缓存每个连接最新的时间戳，若后续的请求中时间戳小于缓存的时间戳时，该请求会被视为无效，导致数据包会被丢弃。

默认值：0

参考值：0，需要结合配置net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_tw_reuse

允许将TIME-WAIT状态的sockets重新用于新的TCP连接，Nginx反向代理服务器（服务器即做客户端，也做server端时）

默认值：0

参考值：1，需要结合配置net.ipv4.tcp_timestamps = 1

net.ipv4.tcp_timestamps

设置时间戳，避免序列号的卷绕。

默认值：1

参考值：结合tcp_tw_recycle和tcp_tw_reuse使用。

net.ipv4.tcp_retries1

放弃回应一个TCP连接请求前，需要进行多少次重试。

默认值：3

参考值：3

net.ipv4.tcp_retries2

在丢弃激活的TCP连接（已建立通讯状态）之前，需要进行多少次重试。

默认值：15

参考值：5

TCP其他参数

net.ipv4.ip_local_port_range

放大本地端口范围。

默认值：32768 61000

参考值：15000 65000

net.ipv4.tcp_keepalive_*

由3个参数共同控制，表示某个TCP连接在空闲7200秒后，内核才发起探测，探测9次（每次75秒）不成功，内核才发送RST。清理无效链接。

默认值：

net.ipv4.tcp_keepalive_intvl = 75

net.ipv4.tcp_keepalive_probes = 9

net.ipv4.tcp_keepalive_time = 7200

参考值：

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_keepalive_time = 600 

针对用户（进程）

文件描述符

表示任何一个用户可以打开的最大的文件描述符数量。

使用ulimit -n查看的是soft nofile值；使用ulimit -Hn查看的是hard nofile值。

默认值：1024

参考值：hard值不能大于/proc/sys/fs/nr_open，soft值不高于hard。

* soft nofile 65535

* hard nofile 65535

相关技术参考：

https://www.jianshu.com/p/47336fcd22da

用户进程

表示任何一个用户可以打开的最大的进程数。

参考值：

* soft nproc 65535

* hard nproc 65535

配置方式

修改/proc下内核参数文件内容

由于内核随时可能更改这些文件中的任意一个，因此不能使用编辑器进行编辑，而是使用echo命令输出重定向至 /proc 下所选定的文件中。

但是重启系统后，该参数又恢复成默认值。

#将 timeout_timewait 参数设置为30秒：
echo 30 > /proc/sys/net/ipv4/tcp_fin_timeout

修改/etc/sysctl.conf文件

修改针对系统的内核参数，把参数添加或修改到/etc/sysctl.conf中，然后执行/sbin/sysctl -p使参数生效。

修改/etc/security/limits.conf文件

修改针对用户的内核参数，把参数添加或修改到/etc/security/limits.conf中，重新登录即生效。