基于netty如何实现百万连接

• ① 介绍

100w连接需要多少台机器才能构建起来，这肯定是很多的，在测试的过程中，不需要几百个服务器完成百万连接。需要注意服务器支持端口的数量是可以支持很多的，但是如何2台服务器要实现百万连接，需要考虑一个TCP层次的一种限制，两台服务器之间建立的连接数量是有限的。网络四元组（客户端IP，客户端端口，服务端IP，服务端端口）。

1. 同一个IP的端口数不超过65535个，这是个限制，每一个连接不仅仅在服务器上开启一个端口，在客户端也会开启一个端口，每一个TCP连接涉及到端口数量的限制，客户端只有6万多个端口。（不可能搞那么多机器，所以让一个客户端发起100万的连接请求，如果是生产环境就不用考虑这个问题）
2. 服务器只有一个端口的情况下，同一个客户端只能对他发起6万多个连接。客户端每发起一个请求，就需要开启一个端口。客户端没有端口就说明它没办法发起请求。

• ② 解决方案

1. 服务器开启多个端口，网络上区别机器是通过网络四元组来标记的。客户端的端口虽然有限，但是可以复用里面的端口。
2. 举个例子：客户端端口20000，已经连接了服务端9001 这个端口。20000端口在去连接服务端另一个端口9002这个端口。对于客户端指定端口复用，操作系统会自动处理的。
3. netty里面开启了 地址的复用。客户端也开启复用。参数都是TCP参数。ChannelOption.SO_REUSEADDR
4. client 和server端通过循环的方式，增加多个端口的绑定。

 

• ③ client端 和 server端需要修改的代码

WebSocketClient

• ① 介绍

100w连接需要多少台机器才能构建起来，这肯定是很多的，在测试的过程中，不需要几百个服务器完成百万连接。需要注意服务器支持端口的数量是可以支持很多的，但是如何2台服务器要实现百万连接，需要考虑一个TCP层次的一种限制，两台服务器之间建立的连接数量是有限的。网络四元组（客户端IP，客户端端口，服务端IP，服务端端口）。

1. 同一个IP的端口数不超过65535个，这是个限制，每一个连接不仅仅在服务器上开启一个端口，在客户端也会开启一个端口，每一个TCP连接涉及到端口数量的限制，客户端只有6万多个端口。（不可能搞那么多机器，所以让一个客户端发起100万的连接请求，如果是生产环境就不用考虑这个问题）
2. 服务器只有一个端口的情况下，同一个客户端只能对他发起6万多个连接。客户端每发起一个请求，就需要开启一个端口。客户端没有端口就说明它没办法发起请求。

• ② 解决方案

1. 服务器开启多个端口，网络上区别机器是通过网络四元组来标记的。客户端的端口虽然有限，但是可以复用里面的端口。
2. 举个例子：客户端端口20000，已经连接了服务端9001 这个端口。20000端口在去连接服务端另一个端口9002这个端口。对于客户端指定端口复用，操作系统会自动处理的。
3. netty里面开启了 地址的复用。客户端也开启复用。参数都是TCP参数。ChannelOption.SO_REUSEADDR
4. client 和server端通过循环的方式，增加多个端口的绑定。

 

• ③ client端 和 server端需要修改的代码

WebSocketClient

 // tcp 建立连接
 for (int i = 0; i < 100; i++) {
 for (int j = 0; j < 60000; j++) {
 b.connect(host, port).sync().get();
 }
 port++;
 }

 

WebSocketServer

 for (int i = 0; i < 100; i++) {
 b.bind(++PORT).addListener(new ChannelFutureListener() {
 public void operationComplete(ChannelFuture future) throws Exception {
 if ("true".equals(System.getProperty("netease.debug")))
 System.out.println("端口绑定完成：" + future.channel().localAddress());
 }
 });
 }

（三）linux下的百万配置

• ① 环境配置

测试环境： 两台 centos7 jdk8 4核8G

• ② centos服务器配置

进程最大文件打开添加参数最大限制

vi /etc/security/limits.conf 

# 修改下面的内容

* soft nofile 1000000
* hard nofile 1000000

全局限制 cat /proc/sys/fs/file-nr

echo 1200000 > /proc/sys/fs/file-max

服务设置

vi /etc/sysctl.conf
#修改下面的内容
fs.file-max = 1000000

问题汇总

# 客户机开不了这么多连接 ，可能的问题原因端口开放数
linux对外随机分配的端口是有限制,理论上单机对外端口数可达65535,但实际对外可建立的连接默认最大只有28232个
查看： cat /proc/sys/net/ipv4/ip_local_port_range
echo "net.ipv4.ip_local_port_range= 1024 65535">> /etc/sysctl.conf
sysctl -p

# 如果你的机器差，出现了奇怪的问题~
sysctl -w net.ipv4.tcp_tw_recycle=1 #快速回收time_wait的连接
sysctl -w net.ipv4.tcp_tw_reuse=1 
sysctl -w net.ipv4.tcp_timestamps=1

# 如果发现自己的用例跑不上去，就看看linux日志
tail -f /var/log/messages
# linux 日志
1、 nf_conntrack: table full, dropping packet 表示防火墙的表满了，加大 nf_conntrack_max 参数
echo "net.nf_conntrack_max = 1000000">> /etc/sysctl.conf

# 2、 TCP: too many orphaned sockets 表示内存不太够，拒绝分配，一般就是TCP缓冲区内存不够用，调大一点
# cat /proc/sys/net/ipv4/tcp_mem 
echo "net.ipv4.tcp_mem = 786432 2097152 16777216">> /etc/sysctl.conf
echo "net.ipv4.tcp_rmem = 4096 4096 16777216">> /etc/sysctl.conf
echo "net.ipv4.tcp_wmem = 4096 4096 16777216">> /etc/sysctl.conf
sysctl -p

• ③ centos服务器配置

# 查看某个端口的连接情况
netstat -nat|grep -i "9001"|wc -l
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

# 网络接口的带宽使用情况 
#tcpdump https://www.cnblogs.com/maifengqiang/p/3863168.html

# glances工具
yum install -y glances
glances 控制台查看
glances -s 服务器模式查看

• ④ 启动

# 服务端启动
java -Xmx4096m -Xms4096m -Dnetease.debug=true -cp netty-all-4.1.33.Final.jar:netty-push-1.0.0.jar com.idig8.netty.push.server.WebSocketServer

# 客户端
java -Xmx4096m -Xms4096m -Dnetease.debug=false -Dnetease.pushserver.host=192.168.100.101 -cp netty-all-4.1.33.Final.jar:netty-push-1.0.0.jar com.idig8.netty.push.client.WebSocketClient


# 发送消息服务端启动
java -Xmx4096m -Xms4096m -Dnetease.debug=true -Dneteae.server.test.sendmsg=true -cp netty-all-4.1.33.Final.jar:netty-push-1.0.0.jar com.idig8.netty.push.server.WebSocketServer

（四）百万连接配置说明

一台机器为什么能支持百万的连接感觉有点科幻，感觉不可能，首先需要理解NIO的概念，NIO如果没有做任何处理的情况下，网络是不需要java程序处理的，java程序在连接没有产生动静的时候，java是不产生事件的时候，只有真正产生事件的时候，selector会通知，在一个海量连接的过程中，只要没有消息的推送，消息传到服务器来，不管有几百万个请求，都可以去接受，这是NIO的特性，不像BIO一个请求要开启一个连接，并非是无限的增长，对于连接这么多，内存资源首先被消耗，占用最大的是内存，操作系统底层有TCP的关联，java的netty里面也有channel，需要保留连接，一个连接产生一个对应的对象，虽然这个对象没有处理但是会占用内存，跟cpu没有太大管理，只是java程序要处理占用了cpu和内存。

有很多连接有一个误解，百万连接需要很多机器，百万连接的关键是NIO网络的机制，对NIO没有直观认识的时候，不知道NIO能带来什么。在真实的生产环境的情况下，服务端不需要这么多端口，开100个端口，为了让测试服务器可以连接，上边有个命令是发送消息服务器启动，一旦涉及到百万连接和发送消息的话肯定设计到大量的资源消耗，netty调用handler，channel，这些都是消耗资源的，服务器cpu资源会挂掉，4核 linux top的方式来查看cpu最大是400%。