1 Netty 概述
1.1 Netty是什么
Netty是一个异步的、基于事件驱动的的网络应用框架,用于快速开发可维护、高性能的网络服务器和客户端。
1.2 为什么使用Netty?
这里从两个方面讲述,首先就是原生NIO存在的一些问题:
- NIO的类库和API繁杂,使用麻烦:需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。
- 需要具备其他的额外技能:要熟悉Java多线程编程,因为NIO编程涉及到Reactor模式,你必须对多线程和网络编程非常熟悉,才能编写出高质量的NIO程序。
- 开发工作量和难度都非常大:例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。
- JDKNIO的Bug:例如臭名昭著的EpollBug,它会导致Selector空轮询,最终导致CPU100%。直到JDK1.7版本该问题仍旧存在,没有被根本解决
接着就是Netty的优点:
Netty对JDK自带的NIO的API进行了封装,解决了上述问题。
- 设计优雅:适用于各种传输类型的阻塞和非阻塞Socket的统一API;基于灵活且可扩展的事件模型,可以清晰地分离关注点;高度可定制的线程模型-单线程,一个或多个线程池
- 使用方便:详细记录的Javadoc,用户指南和示例;没有其他依赖项,JDK5(Netty3.x)或6(Netty4.x)就足够了。
- 高性能、吞吐量更高:延迟更低;减少资源消耗;最小化不必要的内存复制。
- 安全:完整的SSL/TLS和StartTLS支持。
- 社区活跃、不断更新:社区活跃,版本迭代周期短,发现的Bug可以被及时修复,同时,更多的新功能会被加入
1.3 Netty的版本说明
- netty版本分为netty3.x和netty4.x、netty5.x
- 因为Netty5出现重大bug,已经被官网废弃了,目前推荐使用的是Netty4.x的稳定版本
1.4 Netty的地位
Netty 在 Java 网络应用框架中的地位就好比:Spring 框架在 JavaEE 开发中的地位
以下的框架都使用了 Netty,因为它们有网络通信需求!
- Cassandra - nosql 数据库
- Spark - 大数据分布式计算框架
- Hadoop - 大数据分布式存储框架
- RocketMQ - ali 开源的消息队列
- ElasticSearch - 搜索引擎
- gRPC - rpc 框架
- Dubbo - rpc 框架
- Spring 5.x - flux api 完全抛弃了 tomcat ,使用 netty 作为服务器端
- Zookeeper - 分布式协调框架
2 Netty高性能框架设计
2.1 线程模型基本介绍
目前存在的线程模型有:
- 传统阻塞I/O服务模型
- Reactor模式
- Netty线程模式(Netty主要基于主从Reactor多线程模型 做了一定的改进,其中主从Reactor多线程模型有多个Reactor)
2.2 传统阻塞I/O服务模型
模型特点
- 采用阻塞IO模式 获取输入的数据
- 每个连接都需要独立的线程完成数据的输入,业务处理,数据返回
问题分析
- 当并发数很大,就会创建大量的线程,占用很大系统资源
- 连接创建后,如果当前线程暂时没有数据可读,该线程会阻塞在read操作,造成线程资源浪费
2.3 Reactor模式
针对传统阻塞I/O服务模型的2个缺点,解决方案:
- 基于I/O复用模型:多个连接共用一个阻塞对象 ,应用程序只需要在一个阻塞对象等待,无需阻塞等待所有连接。当某个连接有新的数据可以处理时,操作系统通知应用程序,线程从阻塞状态返回,开始进行业务处理Reactor对应的叫法:1.反应器模式2.分发者模式(Dispatcher)3.通知者模式(notifier)
- 基于线程池复用线程资源:不必再为每个连接创建线程,将连接完成后的业务处理任务分配给线程进行处理,一个线程可以处理多个连接的业务。
I/O复用结合线程池,就是Reactor模式基本设计思想,如图
1)Reactor模式,通过一个或多个输入同时传递给服务处理器的模式(基于事件驱动)
2)服务器端程序处理传入的多个请求,并将它们同步分派到相应的处理线程,因此Reactor模式也叫Dispatcher模式
3)Reactor模式使用IO复用监听事件,收到事件后,分发给某个线程(进程),这点就是网络服务器高并发处理关键
2.3.1 Reactor模式中核心组成:
1)Reactor:Reactor在一个单独的线程中运行,负责监听和分发事件,分发给适当的处理程序来对IO事件做出反应。它就像公司的电话接线员,它接听来自客户的电话并将线路转移到适当的联系人;
2)Handlers:处理程序执行I/O事件要完成的实际事件,类似于客户想要与之交谈的公司中的实际官员。Reactor通过调度适当的处理程序来响应I/O事件,处理程序执行非阻塞操作。
2.3.2 Reactor模式分类
根据Reactor的数量和处理资源池线程的数量不同,有3种典型的实现:
- 单Reactor单线程
- 单Reactor多线程
- 主从Reactor多线程
2.3.3 单Reactor 单线程
原理图
方案说明
- Select是NIO中I/O复用模型介绍的标准网络编程API,可以实现应用程序通过一个阻塞对象监听多路连接请求
- Reactor对象通过Select监控客户端请求事件,收到事件后通过Dispatch进行分发
- 如果是建立连接请求事件,则由Acceptor通过Accept处理连接请求,然后创建一个Handler对象处理连接完成后的后续业务处理
- 如果不是建立连接事件,则Reactor会分发调用连接对应的Handler来响应
- Handler会完成Read→业务处理→Send的完整业务流程
结合实例:服务器端用一个线程通过多路复用搞定所有的IO操作(包括连接,读、写等),编码简单,清晰明了,但是如果客户端连接数量较多,将无法支撑,前面的NIO案例就属于这种模型。
方案优缺点分析
优点:模型简单,没有多线程、进程通信、竞争的问题,全部都在一个线程中完成
缺点:
- 性能问题,只有一个线程,无法完全发挥多核CPU的性能。Handler在处理某个连接上的业务时,整个进程无法处理其他连接事件,很容易导致性能瓶颈
- 可靠性问题,线程意外终止,或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,造成节点故障
使用场景:客户端的数量有限,业务处理非常快速,比如Redis在业务处理的时间复杂度O(1)的情况
2.3.4 单Reactor多线程
原理图
对上图的小结
- Reactor对象通过select监控客户端请求事件,收到事件后,通过dispatch进行分发
- 如果建立连接请求,则由Acceptor通过accept处理连接请求,然后创建一个Handler对象处理完成连接后的各种事件
- 如果不是连接请求,则由reactor分发调用连接对应的handler来处理
- handler只负责响应事件,不做具体的业务处理,通过read读取数据后,会分发给后面的worker线程池的某个线程处理业务
- worker线程池会分配独立线程完成真正的业务,并将结果返回给handler
- handler收到响应后,通过send将结果返回给client
方案优缺点分析
优点:可以充分的利用多核cpu的处理能力
缺点:多线程数据共享和访问比较复杂,reactor处理所有的事件的监听和响应,在单线程运行 ,在高并发场景容易出现性能瓶颈
2.3.5 主从Reactor多线程
原理图
上图的方案说明
- Reactor主线程MainReactor对象通过select监听连接事件,收到事件后,通过Acceptor处理连接事件
- 当Acceptor处理连接事件后,MainReactor将连接分配给SubReactor
- subreactor将连接加入到连接队列进行监听,并创建handler进行各种事件处理
- 当有新事件发生时,subreactor就会调用对应的handler处理
- handler通过read读取数据,分发给后面的worker线程处理
- worker线程池分配独立的worker线程进行业务处理,并返回结果
- handler收到响应的结果后,再通过send将结果返回给client
- Reactor主线程可以对应多个Reactor子线程,即MainRecator可以关联多个SubReactor
方案优缺点说明
优点:
- 父线程与子线程的数据交互简单职责明确,父线程只需要接收新连接,子线程完成后续的业务处理。
- 父线程与子线程的数据交互简单,Reactor主线程只需要把新连接传给子线程,子线程无需返回数据。
缺点:编程复杂度较高
2.3.6 Reactor模式小结
3种模式用生活案例来理解
- 单Reactor单线程,前台接待员和服务员是同一个人,全程为顾客服
- 单Reactor多线程,1个前台接待员,多个服务员,接待员只负责接待
- 主从Reactor多线程,多个前台接待员,多个服务生
Reactor模式具有如下的优点
- 响应快,不必为单个同步时间所阻塞,虽然Reactor本身依然是同步的
- 可以最大程度的避免复杂的多线程及同步问题,并且避免了多线程/进程的切换开销
- 扩展性好,可以方便的通过增加Reactor实例个数来充分利用CPU资源
- 复用性好,Reactor模型本身与具体事件处理逻辑无关,具有很高的复用性
3 Netty模型
3.1 主从Reactor进阶
Netty主要是基于主从Reactor多线程模式做了一定的改进,其中主从Reactor都有单一的一个变成了多个。下面是简单的改进图。
- 如图所示,增加了BossGroup来维护多个主Reactor,主Reactor还是只关注连接的Accept;增加了WorkGroup来维护多个从Reactor,从Reactor将接收到的请求交给Handler进行处理。
- 在主Reactor中接收到Accept事件,获取到对应的SocketChannel,Netty会将它进一步封装成NIOSocketChannel对象,这个封装后的对象还包含了该Channel对应的SelectionKey、通信地址等详细信息
- Netty会将装个封装后的Channel对象注册到WorkerGroup中的从Reactor中。
- 当WorkerGroup中的从Reactor监听到事件后,就会将之交给与此Reactor对应的Handler进行处理。
3.2 再进阶版
工作原理示意图2-进阶版
- Netty将Selector以及Selector相关的事件及任务封装了NioEventLoop ,这样BossGroup就可以通过管理NioEventLoop去管理各个Selector。
- 同时,Netty模型中主要存在两个大的线程池组BossGroup 和WorkerGroup ,用于管理主Reactor线程和从Reactor线程。
3.3 Netty模型
对上图的说明小结
-
Netty抽象出两组线程池BossGroup专门负责接收客户端的连接,WorkerGroup专门负责网络的读写
-
BossGroup和WorkerGroup类型都是NioEventLoopGroup
-
NioEventLoopGroup相当于一个事件循环组,这个组中含有多个事件循环,每一个事件循环是NioEventLoop
-
NioEventLoop表示一个不断循环的执行处理任务的线程,每个NioEventLoop都有一个selector,用于监听绑定在其上的socket的网络通讯
-
NioEventLoopGroup可以有多个线程,即可以含有多个NioEventLoop
-
每个BossNioEventLoop循环执行的步骤有3步
- 轮询accept事件
- 处理accept事件,与client建立连接,生成NioScocketChannel,并将其注册到某个workerNIOEventLoop上的selector
- 处理任务队列的任务,即runAllTasks
-
每个WorkerNIOEventLoop循环执行的步骤
- 轮询read,write事件
- 处理i/o事件,即read,write事件,在对应NioScocketChannel处理
- 处理任务队列的任务,即runAllTasks
-
每个 Worker NioEventLoop处理业务时,会使用pipeline(管道),pipeline中维护了一个ChannelHandlerContext链表,而ChannelHandlerContext则保存了Channel相关的所有上下文信息,同时关联一个ChannelHandler对象。如图所示,Channel和pipeline一一对应,ChannelHandler和ChannelHandlerContext一一对应。
3.4 Netty快速入门实例-TCP服务
实例要求:
1)Netty服务器在6668端口监听,客户端能发送消息给服务器"hello,服务器~"
2)服务器可以回复消息给客户端"hello,客户端~"
3)目的:对Netty线程模型有一个初步认识,便于理解Netty模型理论
3.4.1 导入依赖
<dependency>
<groupId>io.netty</groupId>
<artifactId>netty-all</artifactId>
<version>4.1.39.Final</version>
</dependency>
3.4.2 服务端代码实现
NettyServer
package com.zjw;
import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;
public class NettyServer {
public static void main(String[] args) throws InterruptedException {
//创建BossGroup 和 WorkerGroup
//1、创建两个线程组,bossGroup 和 workerGroup
//2、bossGroup 只是处理连接请求,真正的和客户端业务处理,会交给 workerGroup 完成
//3、两个都是无限循环
//4、workerGroup 含有的子线程(NioEventLoop)个数为实际 cpu 核数 * 2
EventLoopGroup bossGroup = new NioEventLoopGroup(1);
EventLoopGroup worderGroup = new NioEventLoopGroup();
try {
//创建服务器端的启动对象,配置参数
ServerBootstrap bootstrap = new ServerBootstrap();
//使用链式编程来进行设置,配置
bootstrap.group(bossGroup, worderGroup) //设置两个线程组
.channel(NioServerSocketChannel.class) //使用 NioServerSocketChannel 作为服务器的通道实现
.option(ChannelOption.SO_BACKLOG, 128) //设置线程队列得到连接个数
.childOption(ChannelOption.SO_KEEPALIVE, true) //设置保持活动连接状态
.childHandler(new ChannelInitializer<SocketChannel>() { //为accept channel的pipeline预添加的handler
//给 pipeline 添加处理器,每当有连接accept时,就会运行到此处。
@Override
protected void initChannel(SocketChannel socketChannel) throws Exception {
socketChannel.pipeline().addLast(new NettyServerHandler());
}
}); //给我们的 workerGroup 的 EventLoop 对应的管道设置处理器
System.out.println("........服务器 is ready...");
//绑定一个端口并且同步,生成了一个ChannelFuture 对象
//启动服务器(并绑定端口)
ChannelFuture future = bootstrap.bind(6668).sync();
//对关闭通道进行监听
future.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
worderGroup.shutdownGracefully();
}
}
}
3.4.3 服务端Handler代码实现
NettyServerHandler
package com.zjw;
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.Channel;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.channel.ChannelPipeline;
import io.netty.util.CharsetUtil;
public class NettyServerHandler extends ChannelInboundHandlerAdapter {
/**
*读取客户端发送过来的消息
* @param ctx 上下文对象,含有 管道pipeline,通道channel,地址
* @param msg 就是客户端发送的数据,默认Object
* @throws Exception
*/
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
System.out.println("服务器读取线程:" + Thread.currentThread().getName());
System.out.println("server ctx = " + ctx);
//看看Channel和Pipeline的关系
Channel channel = ctx.channel();
ChannelPipeline pipeline = ctx.pipeline(); //本质是个双向链表,出栈入栈
//将msg转成一个ByteBuf,比NIO的ByteBuffer性能更高
ByteBuf buf = (ByteBuf)msg;
System.out.println("客户端发送的消息是:" + buf.toString(CharsetUtil.UTF_8));
System.out.println("客户端地址:" + ctx.channel().remoteAddress());
}
//数据读取完毕
@Override
public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
//它是 write + flush,将数据写入到缓存buffer,并将buffer中的数据flush进通道
//一般讲,我们对这个发送的数据进行编码
ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~", CharsetUtil.UTF_8));
}
//处理异常,一般是关闭通道
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
ctx.close();
}
}
3.4.4 客户端实现
NettyClient
package com.zjw;
import io.netty.bootstrap.Bootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
public class NettyClient {
public static void main(String[] args) throws InterruptedException {
//客户端需要一个事件循环组
EventLoopGroup group = new NioEventLoopGroup();
try {
//创建客户端启动对象
//注意:客户端使用的不是 ServerBootStrap 而是 Bootstrap
Bootstrap bootstrap = new Bootstrap();
//设置相关参数
bootstrap.group(group) //设置线程组
.channel(NioSocketChannel.class) //设置客户端通道的实现类(使用反射)
.handler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel socketChannel) throws Exception {
socketChannel.pipeline().addLast(new NettyClientHandler()); //加入自己的处理器
}
});
System.out.println("客户端 OK...");
//启动客户端去连接服务器端
//关于 channelFuture 涉及到 netty 的异步模型
ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 6668).sync();
//给关闭通道进行监听
channelFuture.channel().closeFuture().sync();
} finally {
group.shutdownGracefully();
}
}
}
3.4.5 客户端Handler代码实现
NettyClientHandler
package com.zjw;
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.util.CharsetUtil;
public class NettyClientHandler extends ChannelInboundHandlerAdapter {
/**
* 当通道就绪就会触发
* @param ctx
* @throws Exception
*/
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
System.out.println("client: " + ctx);
//发送消息给服务端
ctx.writeAndFlush(Unpooled.copiedBuffer("hello, server", CharsetUtil.UTF_8));
}
/**
* 当通道有读取事件时,会触发
* @param ctx
* @param msg
* @throws Exception
*/
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
ByteBuf buf = (ByteBuf)msg;
System.out.println("服务器回复的消息:" + buf.toString(CharsetUtil.UTF_8));
System.out.println("服务器的地址:" + ctx.channel().remoteAddress());
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
}
}
3.4.6 结果展示
服务端结果:
客户端结果: