你不知道的tcp半连接、全连接知识都在这了(1)

[root@rs02 ~]# netstat -s | grep overflowed
    241307 times the listen queue of a socket overflowed

上面看到的 241307times ，表示全连接队列溢出的次数，注意这个是累计值。可以隔几秒钟执行一次，如果这个数字一直在增加的话肯定全连接队列满了。

从上面的模拟结果，可以得知，当服务端并发处理大量请求时，如果 TCP 全连接队列过小，就容易溢出。发生 TCP 全连接队列溢出的时候，后续的请求就会被丢弃，这样就会出现服务端请求数量上不去的现象。

实际上，丢弃连接只是 Linux 的默认行为，我们还可以选择向客户端发送 RST 复位报文，告诉客户端连接已经建立失败。

[root@rs01 ~]# cat /proc/sys/net/ipv4/tcp_abort_on_overflow 
0

tcp_abort_on_overflow 共有两个值分别是 0 和 1，其分别表示：

• 0 ：如果全连接队列满了，那么 server 扔掉 client 发过来的 ack ；
• 1 ：如果全连接队列满了，server 发送一个 reset 包给 client，表示废掉这个握手过程和这个连接；

如果要想知道客户端连接不上服务端，是不是服务端 TCP 全连接队列满的原因，那么可以把 tcp_abort_on_overflow 设置为 1，这时如果在客户端异常中可以看到很多 connection reset by peer 的错误，那么就可以证明是由于服务端 TCP 全连接队列溢出的问题。就像下面这样：

[root@cloudstudy jason]# git clone https://github.com/wg/wrk.git wrk
Cloning into 'wrk'...
fatal: unable to access 'https://github.com/wg/wrk.git/': TCP connection reset by peer

当然这种错误不是一定会遇到。日常工作中如果没有特殊需求，我们建议设置为0.

如何增大TCP全连接队列

当发现 TCP 全连接队列发生溢出的时候，我们就需要增大该队列的大小，以便可以应对客户端大量的请求。

TCP 全连接队列足最大值取决于 somaxconn 和 backlog 之间的最小值，也就是min(somaxconn, backlog)，实际上内核代码就是这么实现的：

// net/socket.c
SYSCALL\_DEFINE2(listen, int, fd, int, backlog)
{
......
		// /proc/sys/net/core/somaxconn
		somaxconn = sock\_net(sock->sk)->core.sysctl_somaxconn;
        
        // 取到全连接队列的大小：min(somaxconn, backlog)
		if ((unsigned int)backlog > somaxconn)
			backlog = somaxconn;		//backlog和somaxconn取其中的最小值
......
}

• somaxconn 是 Linux 内核的参数，默认值是 128，可以通过 /proc/sys/net/core/somaxconn 来设置其值；
• backlog 是 listen(int sockfd, int backlog) 函数中的 backlog 大小，Nginx 默认值是 511，可以通过修改nginx的配置文件设置其大小；

前面模拟测试中，我的测试环境：

• somaxconn 是默认值 128；
• Nginx 的 backlog 是默认值 511

所以测试环境的 TCP 全连接队列最大值为 min(128, 511)，也就是 128.

现在我们重新压测，把 TCP 全连接队列搞大，把 somaxconn 设置成 5000：

[root@rs01 ~]# echo 5000 > /proc/sys/net/core/somaxconn

接着把 Nginx 的 backlog 也同样设置成 5000：

# /etc/nginx/nginx.conf
    server {
        listen       80 default backlog=5000;
        listen       [::]:80;
......


# 重启nginx后查看：
[root@rs01 ~]# systemctl restart nginx
[root@rs01 ~]# ss -lnt | grep 80
LISTEN     0      5000         *:80                       *:*                  
LISTEN     0      511       [::]:80                    [::]:* 

从执行结果，可以发现 TCP 全连接最大值为 5000。

再次压测：

wrk -t 6 -c 30000 -d 60s http://10.0.0.62

服务端执行 ss 命令，查看 TCP 全连接队列使用情况：

[root@rs01 ~]# ss -lnt | grep 80
LISTEN     204     5000         *:80                       *:*                  
LISTEN     0      511       [::]:80                    [::]:*  

从上面的执行结果，可以发现全连接队列使用增长的很快，但是一直都没有超过最大值，所以就不会溢出：

[root@rs01 ~]# netstat -s | grep overflowed
    181404 times the listen queue of a socket overflowed
# 181404是没调整之前的丢弃情况，现在看只要数据没有变化就说明队列没有继续溢出。

说明 TCP 全连接队列最大值从 128 增大到 5000 后，服务端抗住了 3 万连接并发请求，也没有发生全连接队列溢出的现象了。

**总结：**如果持续不断地有连接因为 TCP 全连接队列溢出被丢弃，就应该调大 backlog 以及 somaxconn 参数。

实战半连接队列

继续使用上面的环境：

客户端：centos7.9 10.0.0.11

服务端：centos7.9 10.0.0.62 hostname：rs01

nginx 端口80

工具：hping3

TCP 半连接队列的长度，不能像全连接队列那样可以用 ss 命令查看。我们只能根据半连接的特点，通过处于SYN_RECV状态的TCP连接来查看：

[root@rs01 ~]# ss -antp | grep SYN-RECV | wc -l
0

模拟半连接状态，那就是客户端一直发送tcp syn包，但是不回复第三次握手的ACK。那服务端就会有大量的SYN_RECV状态的连接。这就是所谓的SYN泛洪攻击、DDos攻击。

# 先关闭tcp_syncookies
[root@rs01 ~]# echo 0 > /proc/sys/net/ipv4/tcp_syncookies

# 客户端发起SYN泛洪攻击
# -S    表示采用SYN半连接方法
# -p     指定攻击的端口号
# --flood   泛洪攻击，尽可能快的发送数据包
[root@cloudstudy ~]# hping3 -S -p 80 --flood 10.0.0.62


# 到服务端去查看
[root@rs01 ~]# ss -antp | grep SYN-RECV  | wc -l
2

我这返回的结果是2，如果你返回的结果是一个比较大的值，比如256，并且通过如下命令看到累计值在增加：

[root@rs01 ~]# netstat -s | grep "SYNs to LISTEN"
    185752 SYNs to LISTEN sockets dropped

如果上面返回的累计值在不断增加，就说明半连接队列已经满了。

如何增大半连接队列

内核对于半连接队列的限制是有三个逻辑的：

1. 半连接队列满了且没有开启tcp_syncookies，丢弃
2. 全连接队列满了，且有多个（大于1个）连接没有重传syn+ack，则丢弃
3. 如果没有开启tcp_syncookies，并且max_syn_backlog减去半连接队列的长度小于某个值（sysctl_max_syn_backlog >> 2）时，则丢弃

实际上半连接队列最大值不是单单由 max_syn_backlog 决定，还跟 somaxconn 和 backlog 有关系。

实际调整半连接队列长度的时候，除了前面提到的需要增大全连接队列的值以外，还需要调整：

echo 5000 > /proc/sys/net/ipv4/tcp_max_syn_backlog	半连接连接队列大小，建议调整为1024及以上（默认128）
echo 5000 > /proc/sys/net/core/somaxconn
# backlog的调整需要在web服务的配置文件中调整。

其他应对SYN泛洪攻击的方法

除了调大半连接队列，还可以通过其他方式来防止SYN泛洪攻击。

写在最后

在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。

需要完整版PDF学习资源私我

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！