Netty从入门到精通（一）

爱吃biangbiang面

已于 2022-12-31 09:52:54 修改

阅读量787

点赞数 1

分类专栏：网络编程文章标签： java spring 分布式

于 2022-12-23 16:31:03 首次发布

本文链接：https://blog.csdn.net/weixin_44680802/article/details/128416045

版权

网络编程专栏收录该内容

11 篇文章 1 订阅

订阅专栏

Netty是什么？

Netty是一个高性能的、异步的、基于事件驱动的网络应用型框架。

本质：网络应用程序框架

实现：异步、事件驱动

特性：高性能、可维护、快速开发

用途：开发服务器和客户端

Netty的架构

Core:

可扩展的事件模型。
统一的通信api(无论是http还是socket都使用统一的api)。
零拷贝机制与字节缓冲区。

Transport Services

支持socket和datagram(数据报)。
支持http协议。
In-VM Pipe(管道协议)。

Protocol Support

http 以及 websocket。
SSL 安全套接字协议⽀持。
Google Protobuf (序列化框架)。
⽀持zlib、gzip压缩。
⽀持⼤⽂件的传输。
RTSP(实时流传输协议，是TCP/IP协议体系中的⼀个应⽤层协议)。
⽀持⼆进制协议并且提供了完整的单元测试。

为什么使用Netty

netty更友好，更强大。JDK中NIO的一些API功能薄弱且复杂，Netty隔离了JDK中 NIO的实现变化及实现细节譬如：ByteBuffer -> ByteBuf 主要负责从底层的IO中读取数据ByteBuf，然后传递给应用程序，应用程序处理完之后封装为ByteBuf，写回给IO
Netty自身线程安全。使用JDK原生API需要对多线程要很熟悉因为 NIO涉及到的Reactor设计模式，得对里面的理要相当的熟悉
完整的高可用机制。JDK原生方式要实现高可用，需要自己实现断路重连、半包读写、粘包处理、失败缓存处理等相关操作，而Netty则做的更多，它解决了传输的一些问题譬如粘包半包现象，它支持常用的应用层协议，完善的断路重连，idle等异常处理
规避了java自带NIO中的BUG

其他网络通信框架：

ØApache Mina：和Netty是同一作者，但是推荐Netty，作者认为Netty是针对Mina的重新打造版本，解决了一些问题并提高了扩展性

ØSun Grizzly：用得少、文档少，更新少。

ØApple Swift NIO、ACE 等：其他语言不作考虑

ØCindy ：生命周期不长

ØTomcat、Jetty：还没有独立出来，另外他们有自己的网络通信层实现，是为了专门针对servelet容器而做的，不具备通用性。那tomcat在网络通信层为什么不选择Netty呢？主要是由于tomcat出现的比较早

Netty的应用

数据库： Cassandra

大数据处理： Spark、Hadoop

Message Queue：RocketMQ

检索： Elasticsearch

框架：gRPC、Apache Dubbo、Spring5(响应式编程WebFlux)

分布式协调器：ZooKeeper

工具类： async-http-client .......

Netty对三种IO的支持（主要是NIO）

点击了解AIO\NIO\BIOhttp://t.csdn.cn/Dfrce

Netty中Reactor的实现

点击了解Reactor模型http://t.csdn.cn/HZ21h

Netty线程模型是基于Reactor模型实现的，对Reactor三种模式都有非常好的支持，并做了一定的改进，也非常的灵活，一般情况，在服务端会采用主从架构模型。

工作流程：

Ø1）Netty 抽象出两组线程池：BossGroup 和 WorkerGroup，每个线程池中都有EventLoop 线程（可以是OIO,NIO,AIO）。BossGroup 中的线程专门负责和客户端建立连接，WorkerGroup 中的线程专门负责处理连接上的读写, EventLoopGroup 相当于一个事件循环组，这个组中含有多个事件循环

Ø2）EventLoop 表示一个不断循环的执行事件处理的线程，每个EventLoop 都包含一个Selector，用于监听注册在其上的 Socket 网络连接（Channel），当监听到时候会操作任务放到TaskQueue。

Ø3）每个 Boss EventLoop 中循环执行以下三个步骤：

select：轮训遍历注册在其上的 ServerSocketChannel 的 accept 事件（OP_ACCEPT 事件）
processSelectedKeys：处理 accept 事件，与客户端建立连接，生成一个SocketChannel，并将其注册到某个 Worker EventLoop 上的 Selector 上
runAllTasks：再去以此循环处理任务队列中的其他任务

Ø4）每个 Worker EventLoop 中循环执行以下三个步骤：

select:轮训遍历注册在其上的SocketChannel 的read/write 事件（OP_READ/OP_WRITE事件）
processSelectedKeys：在对应的SocketChannel 上处理 read/write 事件
runAllTasks：再去以此循环处理任务队列中的其他任务

Ø5）在以上两个processSelectedKeys步骤中，会使用 Pipeline（管道），Pipeline 中引用了 Channel，即通过 Pipeline 可以获取到对应的 Channel，Pipeline 中维护了很多的处理器（拦截处理器、过滤处理器、自定义处理器等）

Netty线程模型总结

Ø1）Netty 的线程模型基于主从多Reactor模型。通常由一个线程负责处理OP_ACCEPT事件，拥有 CPU核数的两倍的IO线程处理读写事件

Ø2）一个通道的IO操作会绑定在一个IO线程中，而一个IO线程可以注册多个通道

Ø3）在一个网络通信中通常会包含网络数据读写，编码、解码、业务处理。默认情况下网络数据读写，编码、解码等操作会在IO线程中运行，但也可以指定其他线程池。

Ø4）通常业务处理会单独开启业务线程池（看业务类型），但也可以进一步细化，例如心跳包可以直接在IO线程中处理，而需要再转发给业务线程池，避免线程切换

Ø5）在一个IO线程中所有通道的事件是串行处理的。

Ø6)通常业务操作会专门开辟一个线程池，那业务处理完成之后，如何将响应结果通过 IO 线程写入到网卡中呢？业务线程调用 Channel 对象的 write 方法并不会立即写入网络，只是将数据放入一个待写入缓存区，然后IO线程每次执行事件选择后，会从待写入缓存区中获取写入任务，将数据真正写入到网络中

ChannelPipeline & ChannelHandler

ChannelPipeline 提供了 ChannelHandler 链的容器，ChannelHandler 是一个双向链表。以服务端程序为例，客户端发送过来的数据要接收，读取处理，我们称数据是入站的，需要经过一系列Handler处理后；如果服务器想向客户端写回数据，也需要经过一系列Handler处理，我们称数据是出站的。

执行流程：

在Netty中，每个Channel被创建的时候都需要被关联一个对应的pipeline（通道），这种关联关系是永久的（整个程序运行的生命周期中）。
当SocketChannel被创建时候，ChannelPipeline也被创建并和SocketChannel关联绑定，
ChannelPipeline初始状态的默认有head和tail两个handler，中间部分的handler都是我们自己创建的用来处理业务等数据
SocketChannel的read事件被触发后（被Eventloop检测到后），head部分的handler会自动降内核中的数据转到应用区
自定义handler处理数据

ChannelHandler 分类

inbound/outbound

inbound入站事件处理顺序（方向）是由链表的头到链表尾，outbound事件的处理顺序是由链表尾到链表头。

inbound入站事件由netty内部触发，最终由netty外部的代码消费。 outbound事件由netty外部的代码触发，最终由netty内部消费

Hello Netty

服务端



public class NettyServer {

    public static void main(String[] args) {
        NettyServer nettyServer = new NettyServer();
        nettyServer.start(8888);
    }

    public  void start(int port) {
        //准备EvenLoopGroup
        EventLoopGroup boss = new NioEventLoopGroup(1);
        EventLoopGroup worker = new NioEventLoopGroup();
        try {
            // 核心引导类
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(boss,worker)
                    .channel(NioServerSocketChannel.class)
                    .handler(new LoggingHandler(LogLevel.INFO))
                    .childHandler(new ChannelInitializer<SocketChannel>() {

                        /**
                         * 客户端channel初始化时回调
                         * @param ch
                         * @throws Exception
                         */
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();
                            pipeline.addLast(new ServerInboundHandler1());
                        }
                    });

            // 绑定端口启动
            ChannelFuture future = serverBootstrap.bind(port).sync();
            // 监听端口的关闭
            future.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            //
            worker.shutdownGracefully();
            boss.shutdownGracefully();
        }
    }

}

handler



public class ServerInboundHandler1 extends ChannelInboundHandlerAdapter {

    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("ServerInboundHandler1 channelActive");
        super.channelActive(ctx);
    }

    @Override
    public void channelInactive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("ServerInboundHandler1 channelInactive");
        super.channelInactive(ctx);
    }

    /**
     * 有数据时的回调
     * @param ctx
     * @param msg
     * @throws Exception
     */
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        ByteBuf buf = (ByteBuf) msg;
        byte[] bytes = new byte[buf.readableBytes()];
        buf.readBytes(bytes);
        String content = new String(bytes, Charset.defaultCharset());
        System.out.println("收到的数据:"+content);
        super.channelRead(ctx, msg);
    }

    @Override
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        System.out.println("ServerInboundHandler1 channelReadComplete");
        //向客户端写回数据
        Channel channel = ctx.channel();
        ByteBuf buffer = ctx.alloc().buffer();
        buffer.writeBytes("hello,nettclient".getBytes(StandardCharsets.UTF_8));
        channel.writeAndFlush(buffer);
        super.channelReadComplete(ctx);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        System.out.println("ServerInboundHandler1 exceptionCaught," + cause.getMessage());
        super.exceptionCaught(ctx, cause);
    }
}

客户端



public class NettyClient {

    public static void main(String[] args) {
        NettyClient nettyClient = new NettyClient();
        nettyClient.connect("127.0.0.1", 8888);
    }

    public void connect(String host,int port) {
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(group)
                    .channel(NioSocketChannel.class)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();

                        }
                    });
            ChannelFuture channelFuture = bootstrap.connect(host, port).sync();
            Channel channel = channelFuture.channel();

            //向服务端写数据
            ByteBuf buffer = channel.alloc().buffer();
            buffer.writeBytes("hello nettyserver".getBytes(StandardCharsets.UTF_8));
            channel.writeAndFlush(buffer);

            //
            channel.closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            group.shutdownGracefully();
        }
    }
}

hello netty源码下载https://download.csdn.net/download/weixin_44680802/87338750