tcp 连接数上限突破

连接数上限条件

文件句柄的限制

一个tcp连接就需要占用一个文件描述符，一旦文件描述符用完，新的连接就会返回给我们错误是：Can’topen so many files。linux系统出于安全角度的考虑，在多个维度对于可打开的文件描述符进行了限制，通常是系统限制、用户限制、进程限制。

限制维度	描述	查看	默认	修改
系统(fs.file-max)	限制整个系统的文件句柄个数	cat /proc/sys/fs/file-max	-	编辑 /etc/sysctl.conf 文件，加入： fs.file-max=1000000 然后执行sysctl -p命令使其生效
进程(fs.nr_open)	限制系统单个进程可打开的最大文件件句柄数量	cat /proc/sys/fs/nr_open	-	编辑 /etc/sysctl.conf 文件，加入: fs.nr_open=1000000 然后执行sysctl -p命令使其生效
用户进程(nofile)	限制每个用户的进程可打开的最大文件句柄数量	ulimit -n	-	临时修改:ulimit -n 1000000 永久修改：编辑 /etc/security/limits.conf 文件: * soft nofile 55000 * hard nofile 55000 上面修改对所有用户生效。 注意!!!：hard nofile 一定要比 fs.nr_open 要小，否则可能导致用户无法登陆。

端口限制

操作系统采用 <客户端IP : 客户端端口> : <服务端IP : 服务端端口> 四元组来标识一条TCP连接。

端口范围

一个IP的端口范围是1024-65535。

查看方法

$ sysctl net.ipv4.ip_local_port_range

或

$ cat /proc/sys/net/ipv4/ip_local_port_range

修改方法

临时修改：

# 临时修改方法1
$ echo 1024 65535 > /proc/sys/net/ipv4/ip_local_port_range

# 临时修改方法2
$ sysctl -w net.ipv4.ip_local_port_range="1024 64000"

永久修改：
编辑 /etc/sysctl.conf 文件，在其中加入：

net.ipv4.ip_local_port_range = 1024 65535

连接突破限制方法

服务端一般不会存在端口限制的问题，服务端开一个listen端口，只要文件句柄没达上限，就可以建立连接。
针对客户端的端口限制，有下面的方法：

• 服务器端只开启一个进程，然后使用很多个客户端进程绑定不同的客户端 ip 来连接
• 服务器开启多个进程，这样客户端就可以只使用一个 ip 即可

supervisor控制的程序

CentOS上使用系统自带的supervisor，使用systemd启动supervisord的服务。被supervisor管理、启动的进程，并不会使用 /etc/security/limits.conf 中配置的 nofile 数值，继承的是systemd对应的限制。

在supervisord 的配置文件 /etc/supervisor.conf中调整

检查 supervisord 的配置文件 /etc/supervisor.conf 中，会发现一个 minfds 的参数设置了 nofile 限制，默认为 1024。

[supervisord]

minfds=100000                 ; (min. avail startup file descriptors;default 1024)
minprocs=100000                ; (min. avail process descriptors;default 200)

minprocs 参数，minprocs 对应的是 rlimit 中的 nproc, nproc 代表一个进程最多可以创建的线程数。

在启动.service文件里面修改对应的限制

$ vim /usr/lib/systemd/system/supervisord.service
[Unit]
Description=Process Monitoring and Control Daemon
After=network.target

[Service]
Type=forking
LimitCORE=infinity
LimitNOFILE=100000 
LimitNPROC=100000
ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf
ExecReload=/usr/bin/supervisorctl reload
ExecStop=/usr/bin/supervisorctl shutdown

[Install]
WantedBy=multi-user.target

重新加载

$ systemctl daemon-reload
$ systemctl restart supervisord.service

nginx 连接突破上限

首先参考上面的内容调整文件句柄数量。其次创建子网卡，将请求分配到不同的 ip上,最后调整nginx配置。

创建子网卡

ifconfig eth0:0 192.168.1.11/24 up
ifconfig eth0:1 192.168.1.12/24 up
ifconfig eth0:2 192.168.1.13/24 up
ifconfig eth0:3 192.168.1.14/24 up
ifconfig eth0:4 192.168.1.15/24 up
ifconfig eth0:5 192.168.1.16/24 up
ifconfig eth0:6 192.168.1.17/24 up
ifconfig eth0:7 192.168.1.18/24 up
ifconfig eth0:8 192.168.1.19/24 up
ifconfig eth0:9 192.168.1.10/24 up
ifconfig eth0:10 192.168.1.20/24 up
ifconfig eth0:11 192.168.1.21/24 up
ifconfig eth0:12 192.168.1.22/24 up
ifconfig eth0:13 192.168.1.23/24 up
ifconfig eth0:14 192.168.1.24/24 up

调整nginx配置

1. 修改Nginx最大打开文件数为 100w

worker_rlimit_nofile 1000000;

2. 修改Nginx事件处理模型

events {
	use epoll;
	worker_connections 1000000;
}

3.配置应用请求
后端 go应用程序监听在 9505 端口，nginx中配置 upstream

upstream go-ws {
    server 127.0.0.1:9505;
    keepalive 128;
}

location /ws {
        proxy_redirect off;
    	proxy_bind $split_ip;
        proxy_pass http://go-ws;
    	proxy_bind $spl_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        # WebSocket 支持的核心配置
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $http_connection;

        proxy_intercept_errors on;
        client_max_body_size 20m;
    }
   
#将请求分配到不同ip上
split_clients "$remote_addr$remote_port" $split_ip {
        10%  192.168.1.11;
        10%  192.168.1.12;
        10%  192.168.1.13;
        10%  192.168.1.14;
        10%  192.168.1.15;
        10%  192.168.1.16;
        10%  192.168.1.17;
        10%  192.168.1.18;
        10%  192.168.1.19;
        10%  192.168.1.20;
        10%  192.168.1.21;
        10%  192.168.1.22;
        10%  192.168.1.23;
        10%  192.168.1.24;
        *    192.168.1.10;
}

如果句柄数并未达到100万就报http: Accept error: accept tcp [::]:9505: accept4: too many open files; retrying in 40ms

尝试调整 supervisorctl句柄数据试试。

netty 连接数设置

netty中跟连接数相关的参数是ChannelOption.SO_BACKLOG，对应的是tcp/ip协议, listen函数 中的 backlog 参数，用来初始化服务端可连接队列。

linux内核中的两个队列

在linux系统内核中维护了两个队列：syns queue和accept queue

服务端处理客户端连接请求是顺序处理的，所以同一时间只能处理一个客户端连接，多个客户端来的时候，服务端将不能处理的客户端连接请求放在队列中等待处理。

• syns queue：保存一个SYN已经到达，但三次握手还没有完成的连接。

  用于保存半连接状态的请求，其大小通过/proc/sys/net/ipv4/tcp_max_syn_backlog指定，一般默认值是512。不过这个设置有效的前提是系统的syncookies功能被禁用。

  互联网常见的TCP SYN FLOOD恶意DOS攻击方式就是建立大量的半连接状态的请求，然后丢弃，导致syns queue不能保存其它正常的请求。

• accept queue：保存三次握手已完成，内核正等待进程执行accept的调用的连接。

  用于保存全连接状态的请求，其大小通过/proc/sys/net/core/somaxconn指定。

  在使用listen函数时，内核会根据传入的backlog参数与系统参数somaxconn，取二者的较小值。

注意：

• 如果未设置或所设置的值小于1，Java将使用默认值50。
• 如果accpet queue队列满了，server将发送一个ECONNREFUSED错误信息Connection refused到client。

ChannelOption.SO_BACKLOG

服务器TCP内核 内维护了两个队列，称为A(未连接队列)和B(已连接队列)

如果A+B的长度大于Backlog时，新的连接就会被TCP内核拒绝掉。

如果backlog过小，就可能出现Accept的速度跟不上，A,B队列满了，就会导致客户端无法建立连接。

另外 backlog对程序的连接数没影响，但是影响的是还没有被Accept取出的连接。

在netty实现中，backlog默认通过NetUtil.SOMAXCONN指定；在ServerBootstrap中使用option()方法设置SO_BACKLOG参数，该参数表示等待接受的连接队列的最大长度。示例代码如下：

ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup)
               .channel(NioServerSocketChannel.class)
               .option(ChannelOption.SO_BACKLOG, 100) // 设置最大连接数为100
               .childHandler(new MyChannelInitializer());

TCP的连接状态 (SYN, FIN, ACK, PSH, RST, URG)

SYN 表示建立连接
FIN 表示关闭连接
ACK 表示响应
PSH 表示有 DATA数据传输
RST 表示连接重置。

参考

用Netty实现单机百万TCP长连接
让Netty Linux 突破100万的连接量
netty怎么设置最大连接数
单机器如何实现Nginx百万并发连接
linux - 文件句柄的限制，你知道吗？
实践单机实现百万连接
supervisord 中的 open files 数量限制
superversior 常用操作命令supervisorctl
Netty ChannelOption.SO_BACKLOG配置