TCP百万连接数测试（Linux epoll）

一.基础

• tcp连接通过五元组（源IP、源端口、目的IP、目的端口、协议）区分不同连接，其中有一个元素不一样即代表不同的连接
• 如果只用一台客户端进行测试，由于端口数量最多为65535，最多只能实现65536个连接，所以此次测试服务器使用100个端口进行同时监听，此时可以使用少量客户端完成百万连接测试

二.配置

• 测试前需要先解除系统的各项限制，配置如下

服务器配置

• 虚拟机Uuntu2004，分配8个逻辑核心，8g内存

# 修改 /etc/sysctl.conf
net.ipv4.tcp_mem = 262144 524288 786432
net.ipv4.tcp_wmem = 2048 2048 4096      # tcp发送缓冲区，单位是字节
net.ipv4.tcp_rmem = 2048 2048 4096      # tcp读取缓冲区，单位为字节
net.nf_conntrack_max = 1048576          # 内核netfiter可以同时处理的任务数
fs.file-max = 1048576

# 修改 /etc/security/limits.conf
# 修改连接限制为 1000000+
* soft nofile 1040000   # 可以超过，超过时进行回收
* hard nofile 1040000   # 硬限制不能超过

客户端配置

• 虚拟机Centos7，分配6个逻辑核心，8g内存，测试中负载80w+连接
• 虚拟机Ubuntu1604 32位，分配4个逻辑核心，4g内存，测试中负载20w+连接

# 修改 /etc/sysctl.conf
net.ipv4.tcp_mem = 262144 524288 786432
net.ipv4.tcp_wmem = 1024 1024 2048      # tcp发送缓冲区，单位是字节
net.ipv4.tcp_rmem = 1024 1024 2048      # tcp读取缓冲区，单位为字节
net.nf_conntrack_max = 1048576          # 内核netfiter可以同时处理的任务数
fs.file-max = 1048576

# 修改 /etc/security/limits.conf
# 修改连接限制为 1000000+
* soft nofile 1040000   # 可以超过，超过时进行回收
* hard nofile 1040000   # 硬限制不能超过

三.代码实现

• 服务器代码：client.c

#define MAX_THREAD      8              // 线程池线程数量
#define MAX_PORT        100            // 服务器监听端口数量

• 客户端代码：server.cc

#define MAX_CONN 405000  // 可以修改此变量控制客户端最大连接数

四.测试结果

五.参考资料

• 漫画 | 一台Linux服务器最多能支撑多少个TCP连接？
• 漫画 | 理解了TCP连接的实现以后，客户端的并发也爆发了！
• nf_conntrack_max 配置参考：
  • 内核参数
  • nf_conntrack连接跟踪模块