提高单机短连接QPS到20万

短连接QPS达到20w，网卡pps接近百万，耗时主要在软中断，内核spinlock和网卡驱动，基本饱和

​​一般的通讯协议在设计上都避免服务器端主动发起TCP连接关闭，让客户端来发起close socket，避免服务器端端口和内存的资源消耗

默认情况下，客户端关闭TCP连接后本地的临时端口会长时间进入TIME_WAIT状态（默认120s），TIME_WAIT状态是为了保护TCP协议的正确性，避免端口发生复用后老的TCP连接残留在网络上的报文进入新的连接里。但这也引入了一个问题，临时端口数量有限，耗尽后，新建连接就会报错EADDRNOTAVAIL

首先要增加临时端口的数量，增加可被消耗的临时端口资源
sysctl -w "net.ipv4.ip_local_port_range=1024 65535”

然后要加速临时端口回收

第一种方法是启用tw_reuse，tw_reuse能加速TIME_WAIT状态端口在几秒时间内安全的回收
sysctl -w net.ipv4.tcp_timestamps=1
sysctl -w net.ipv4.tcp_tw_reuse=1
2.6.32内核下启动tw_reuse短连接可以达到2w，性能并不稳定；

第二种方法更激进些，启用tw_recycle，tw_recycle允许在两个RTT。当多个客户端处于NAT后时，在服务器端开启tw_recycle会引起丢包问题，如果丢SYN包，就会造成新建连接失败
sysctl -w net.ipv4.tcp_timestamps=1
sysctl -w net.ipv4.tcp_tw_recycle=1
2.6.32内核下启动tw_recycle短连接可以达到6w，比较稳定；

第三种方法是给socket配置SO_LINGER，on设为1，linger设为0，这样关闭连接后TCP状态从ESTAB直接进入CLOSED，向服务器发rst包而不是fin包来关闭连接。这种方法风险最高，会丢弃buffer里未发送完的数据，不过通过设计协议（客户端和服务器协议上协商后再关闭TCP连接）可以规避这个问题，使用需要小心，选择合适的场景。
这个方法可以完全解掉TIME_WAIT问题，短连接达到20w，很稳定

短连接QPS达到20w后，网卡pps接近百万，耗时主要在软中断，内核spin_lock和网卡驱动里，也基本让内核态网络协议栈负载饱和了

​

​

当然，这些调优的前提是先写一对高性能的客户端和服务器端程序 ​​​​