Java后端架构师的成长之路（三）——Java网络编程Netty（2）

Netty高性能架构设计

Netty概述

原生NIO存在的问题

• NIO 的类库和 API 繁杂，使用麻烦：需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。
• 需要具备其他的额外技能：要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor 模式，你必须对多线程和网络编程非常熟悉，才能编写出高质量的 NIO 程序。
• 开发工作量和难度都非常大：例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。
• JDK NIO 的 Bug：例如臭名昭著的 Epoll Bug，它会导致 Selector 空轮询，最终导致 CPU 100%。直到 JDK 1.7 版本该问题仍旧存在，没有被根本解决。

Netty官网说明

• 官网：https://netty.io/ 。
• Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.
  
• Netty 是由 JBOSS 提供的一个 Java 开源框架。Netty 提供异步的、基于事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络 IO 程序。
• Netty 可以帮助你快速、简单的开发出一个网络应用，相当于简化和流程化了 NIO 的开发过程。
• Netty 是目前最流行的 NIO 框架，Netty 在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，知名的 Elasticsearch 、Dubbo 框架内部都采用了 Netty。

Netty的优点

Netty 对 JDK 自带的 NIO 的 API 进行了封装，解决了上述问题：

• 设计优雅：适用于各种传输类型的统一 API 阻塞和非阻塞 Socket；基于灵活且可扩展的事件模型，可以清晰地分离关注点；高度可定制的线程模型 - 单线程，一个或多个线程池。
• 使用方便：详细记录的 Javadoc，用户指南和示例；没有其他依赖项，JDK 5（Netty 3.x）或 6（Netty 4.x）就足够了。
• 高性能、吞吐量更高：延迟更低；减少资源消耗；最小化不必要的内存复制。
• 安全：完整的 SSL/TLS 和 StartTLS 支持。
• 社区活跃、不断更新：社区活跃，版本迭代周期短，发现的 Bug 可以被及时修复，同时，更多的新功能会被加入。

Netty版本说明

• netty 版本分为 netty3.x 和 netty4.x、netty5.x。
• 因为Netty5出现重大bug，已经被官网废弃了，目前推荐使用的是Netty4.x的稳定版本。
• 目前在官网可下载的版本 netty3.x netty4.0.x 和 netty4.1.x。
• netty 下载地址： https://bintray.com/netty/downloads/netty/

Netty结构设计

线程模型基本介绍

• 不同的线程模式，对程序的性能有很大影响，目前存在的线程模型有：传统阻塞 I/O 服务模型、Reactor 模式。
• 根据 Reactor 的数量和处理资源池线程的数量不同，有 3 种典型的实现：单 Reactor 单线程、单 Reactor 多线程、主从 Reactor 多线程。
• Netty 线程模式(Netty 主要基于主从 Reactor 多线程模型做了一定的改进，其中主从 Reactor 多线程模型有多个 Reactor)。

传统阻塞IO服务模型

• 工作原理：黄色的框表示对象、蓝色的框表示线程、白色的框表示方法(API)。
• 模型特点：采用阻塞IO模式获取输入的数据；每个连接都需要独立的线程完成数据的输入，业务处理和数据返回。
• 问题分析：当并发数很大，就会创建大量的线程，占用很大系统资源；连接创建后，如果当前线程暂时没有数据可读，该线程会阻塞在read 操作，造成线程资源浪费。

Reactor模式

针对传统阻塞 I/O 服务模型的 2 个缺点，解决方案：

• 基于 I/O 复用模型：多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象等待，无需阻塞等待所有连接。当某个连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理。
• Reactor 对应的叫法：反应器模式、分发者模式(Dispatcher)、通知者模式(notifier)。
• 基于线程池复用线程资源：不必再为每个连接创建线程，将连接完成后的业务处理任务分配给线程进行处理，一个线程可以处理多个连接的业务。
  
• Reactor模式的基本设计思想就是I/O 复用结合线程池，如下图：
  
• Reactor 模式，通过一个或多个输入同时传递给服务处理器的模式(基于事件驱动)。
• 服务器端程序处理传入的多个请求，并将它们同步分派到相应的处理线程， 因此Reactor模式也叫 Dispatcher模式。
• Reactor 模式使用IO复用监听事件，收到事件后，分发给某个线程(进程)，这点就是网络服务器高并发处理关键。

Reactor 模式中核心组成

• Reactor：Reactor 在一个单独的线程中运行，负责监听和分发事件，分发给适当的处理程序来对 IO 事件做出反应。 它就像公司的电话接线员，它接听来自客户的电话并将线路转移到适当的联系人。
• Handlers：处理程序执行 I/O 事件要完成的实际事件，类似于客户想要与之交谈的公司中的实际官员。Reactor 通过调度适当的处理程序来响应 I/O 事件，处理程序执行非阻塞操作。

单Reactor单线程

工作原理

方案说明

• Select 是前面 I/O 复用模型介绍的标准网络编程 API，可以实现应用程序通过一个阻塞对象监听多路连接请求。
• Reactor 对象通过 Select 监控客户端请求事件，收到事件后通过 Dispatch 进行分发。
• 如果是建立连接请求事件，则由 Acceptor 通过 Accept 处理连接请求，然后创建一个 Handler 对象处理连接完成后的后续业务处理。
• 如果不是建立连接事件，则 Reactor 会分发调用连接对应的 Handler 来响应。
• Handler 会完成 Read→业务处理→Send 的完整业务流程。
• 结合实例：服务器端用一个线程通过多路复用搞定所有的 IO 操作（包括连接，读、写等），编码简单，清晰明了，但是如果客户端连接数量较多，将无法支撑，前面的 NIO 群聊案例就属于这种模型。

方案优缺点

• 优点：模型简单，没有多线程、进程通信、竞争的问题，全部都在一个线程中完成。
• 缺点：性能问题，只有一个线程，无法完全发挥多核 CPU 的性能。Handler 在处理某个连接上的业务时，整个进程无法处理其他连接事件，很容易导致性能瓶颈。
• 缺点：可靠性问题，线程意外终止，或者进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障。
• 使用场景：客户端的数量有限，业务处理非常快速，比如 Redis在业务处理的时间复杂度 O(1) 的情况。

单Reactor多线程

工作原理

方案说明

• Reactor 对象通过select 监控客户端请求事件，收到事件后，通过dispatch进行分发。
• 如果建立连接请求，则由 Acceptor 通过accept 处理连接请求，然后创建一个Handler对象处理完成连接后的各种事件。
• 如果不是连接请求，则由reactor分发调用连接对应的handler 来处理。
• handler 只负责响应事件，不做具体的业务处理，通过read 读取数据后，会分发给后面的worker线程池的某个线程处理业务。
• worker 线程池会分配独立线程完成真正的业务，并将结果返回给handler。
• handler收到响应后，通过 send 将结果返回给client。

方案优缺点

• 优点：可以充分的利用多核cpu 的处理能力。
• 缺点：多线程数据共享和访问比较复杂， Reactor 处理所有的事件的监听和响应，在单线程运行，在高并发场景容易出现性能瓶颈。

主从Reactor多线程

工作原理

• 针对单 Reactor 多线程模型中，Reactor 在单线程中运行，高并发场景下容易成为性能瓶颈，可以让 Reactor 在多线程中运行。
  

方案说明

• Reactor主线程 MainReactor 对象通过select 监听连接事件, 收到事件后，通过Acceptor 处理连接事件。
• 当 Acceptor 处理连接事件后，MainReactor 将连接分配给SubReactor。
• SubReactor 将连接加入到连接队列进行监听,并创建 Handler 进行各种事件处理。
• 当有新事件发生时， SubReactor 就会调用对应的 Handler 处理。
• Handler 通过 read 读取数据，分发给后面的 Worker 线程处理。
• Worker 线程池分配独立的 Worker 线程进行业务处理，并返回结果。
• Handler 收到响应的结果后，再通过 send 将结果返回给 Client。
• Reactor 主线程可以对应多个Reactor 子线程, 即 MainRecator 可以关联多个SubReactor。

Scalable IO in Java 对 Multiple Reactors 的原理图解

方案优缺点

• 优点：父线程与子线程的数据交互简单职责明确，父线程只需要接收新连接，子线程完成后续的业务处理。
• 优点：父线程与子线程的数据交互简单，Reactor 主线程只需要把新连接传给子线程，子线程无需返回数据。
• 缺点：编程复杂度较高。
• 结合实例：这种模型在许多项目中广泛使用，包括 Nginx 主从 Reactor 多进程模型，Memcached 主从多线程，Netty 主从多线程模型的支持。

Reactor模式小结

• 单 Reactor 单线程：前台接待员和服务员是同一个人，全程为顾客服务。
• 单 Reactor 多线程：1 个前台接待员，多个服务员，接待员只负责接待。
• 主从 Reactor 多线程：多个前台接待员，多个服务生。
• Reactor 模式具有如下的优点：

* 响应快，不必为单个同步时间所阻塞，虽然 Reactor 本身依然是同步的。
* 可以最大程度的避免复杂的多线程及同步问题，并且避免了多线程/进程的切换开销。
* 扩展性好，可以方便的通过增加 Reactor 实例个数来充分利用 CPU 资源。
* 复用性好，Reactor 模型本身与具体事件处理逻辑无关，具有很高的复用性。

Netty模型

• Netty 主要基于主从 Reactors 多线程模型（如图）做了一定的改进，其中主从 Reactor 多线程模型有多个 Reactor。

工作原理-简单版

• BossGroup 线程维护Selector , 只关注 Accecpt，当接收到 Accept 事件，获取到对应的 SocketChannel，封装成 NIOScoketChannel 并注册到 Worker 线程(事件循环)，并进行维护。
• 当 Worker 线程监听到 selector 中通道发生自己感兴趣的事件后，就进行处理(就由handler)， 注意 handler 已经加入到通道。

工作原理-进阶版

工作原理-详细版

• Netty抽象出两组线程池 BossGroup 专门负责接收客户端的连接，WorkerGroup 专门负责网络的读写。
• BossGroup 和 WorkerGroup 类型都是 NioEventLoopGroup。
• NioEventLoopGroup 相当于一个事件循环组，这个组中含有多个事件循环 ，每一个事件循环是 NioEventLoop。
• NioEventLoop 表示一个不断循环的执行处理任务的线程，每个 NioEventLoop 都有一个 Selector，用于监听绑定在其上的Socket的网络通讯。
• NioEventLoopGroup 可以有多个线程，即可以含有多个 NioEventLoop。
• 每个Boss NioEventLoop 循环执行的步骤有3步：

* 轮询 accept 事件
* 处理 accept 事件, 与client建立连接, 生成 NioScocketChannel, 并将其注册到某个 worker NIOEventLoop 上的 selector
* 处理任务队列的任务， 即 runAllTasks

• 每个 Worker NIOEventLoop 循环执行的步骤：

* 轮询 read、write 事件
* 处理i/o事件，即 read、write 事件，在对应 NioScocketChannel 处理
* 处理任务队列的任务，即 runAllTasks

• 每个 Worker NIOEventLoop 处理业务时，会使用 pipeline(管道)，pipeline 中包含了 channel，即通过 pipeline 可以获取到对应通道，管道中维护了很多的处理器。

快速入门案例-TCP服务

• 服务器启动类：

public class NettyServer {
    public static void main(String[] args) throws Exception {
        // 创建 BossGroup 和 WorkGroup
        // BossGroup只处理连接请求，真正的和客户端业务处理的会交给 WorkGroup
        // 两个都是无限循环
        // bossGroup 和 workerGroup 含有的子线程(NioEventLoop)的个数默认实际cpu核数*2
        NioEventLoopGroup bossGroup = new NioEventLoopGroup();
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            // 创建服务器端的启动对象，配置参数
            ServerBootstrap bootstrap = new ServerBootstrap();

            // 使用链式编程来进行设置
            bootstrap.group(bossGroup, workerGroup)
                    // 使用 NioSocketChannel 作为服务器的通道实现
                    .channel(NioServerSocketChannel.class)
                    // 设置线程队列得到连接的个数
                    .option(ChannelOption.SO_BACKLOG, 128)
                    // 设置保持活动连接状态
                    .childOption(ChannelOption.SO_KEEPALIVE, true)
                    // 创建一个通道处理对象
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        // 给pipeline设置处理器
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new NettyServerHandler());
                        }
                    });

            System.out.println("...服务器准备好了~");
            // 绑定一个端口并且同步，生成一个 ChannelFuture 对象
            ChannelFuture channelFuture = bootstrap.bind(6668).sync();

            // 对关闭通道进行监听
            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

• 服务器处理器类：

/**
 * 我们自定义一个 Handler 需要继续 netty 规定好的某个 HandlerAdapter(规范)
 * 这时我们自定义一个 Handler , 才能称为一个 handler
 */
public class NettyServerHandler extends ChannelInboundHandlerAdapter {
    /**
     * 读取数据 实际(这里我们可以读取客户端发送的消息)
     * ChannelHandlerContext ctx:上下文对象, 含有 管道 pipeline , 通道 channel, 地址
     * Object msg: 就是客户端发送的数据 默认 Object
     */
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        System.out.println("server ctx = " + ctx);
        // 将msg转成一个ByteBuf
        ByteBuf byteBuf = (ByteBuf) msg;
        System.out.println("客户端发送消息是：" + byteBuf.toString(CharsetUtil.UTF_8));
        System.out.println("客户端地址：" + ctx.channel().remoteAddress());
    }

    @Override
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        // writeAndFlush 是 write + flush
        // 将数据写入到缓存，并刷新；一般讲，我们对这个发送的数据进行编码
        ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵", CharsetUtil.UTF_8));
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        ctx.close();
    }
}

• 客户端启动类：

public class NettyClient {
    public static void main(String[] args) throws Exception {
        // 客户端需要一个时间循环组
        NioEventLoopGroup eventLoopGroup = new NioEventLoopGroup();
        try {
            // 创建客户端启动对象
            Bootstrap bootstrap = new Bootstrap();
            // 设置相关参数
            bootstrap.group(eventLoopGroup)
                    .channel(NioSocketChannel.class)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new NettyClientHandler());
                        }
                    });

            System.out.println("客户端 is ok ...");
            // 启动客户端去连接服务器端
            ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 6668).sync();
            channelFuture.channel().closeFuture().sync();
        } finally {
            eventLoopGroup.shutdownGracefully();
        }
    }
}

• 客户端处理器类：

public class NettyClientHandler extends ChannelInboundHandlerAdapter {
    /**
     * 当通道就绪就会触发该方法
     */
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("Client: " + ctx);
        ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 服务器: (>^ω^<)喵", CharsetUtil.UTF_8));
    }

    /**
     * 当通道有读取事件时，会触发
     */
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        ByteBuf byteBuf = (ByteBuf) msg;
        System.out.println("服务器回复的消息:" + byteBuf.toString(CharsetUtil.UTF_8));
        System.out.println("服务器的地址: " + ctx.channel().remoteAddress());
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

任务队列中的 Task 有 3 种典型使用场景

• 用户程序自定义的普通任务。

ctx.channel().eventLoop().execute(() -> {
    try {
        TimeUnit.SECONDS.sleep(10);
        ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵 2", CharsetUtil.UTF_8));
        System.out.println("channel code=" + ctx.channel().hashCode());
    } catch (Exception e) {
        System.out.println("发生异常" + e.getMessage());
    }
});

• 用户自定义定时任务。

// 解决方案 2 : 用户自定义定时任务 -> 该任务是提交到 scheduledTaskQueue 中
ctx.channel().eventLoop().schedule(() -> {
    try {
        TimeUnit.SECONDS.sleep(10);
        ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵 3", CharsetUtil.UTF_8));
        System.out.println("channel code=" + ctx.channel().hashCode());
    } catch (Exception e) {
        System.out.println("发生异常" + e.getMessage());
    }
}, 1, TimeUnit.SECONDS);

• 非当前 Reactor 线程调用 Channel 的各种方法。
• 例如在推送系统的业务线程里面，根据用户的标识，找到对应的 Channel 引用，然后调用 Write 类方法向该用户推送消息，就会进入到这种场景。最终的 Write 会提交到任务队列中后被异步消费。

方案再说明

• Netty 抽象出两组线程池，BossGroup 专门负责接收客户端连接，WorkerGroup 专门负责网络读写操作。
• NioEventLoop 表示一个不断循环执行处理任务的线程，每个 NioEventLoop 都有一个 selector，用于监听绑定在其上的 socket 网络通道。
• NioEventLoop 内部采用串行化设计，从消息的读取->解码->处理->编码->发送，始终由 IO 线程 NioEventLoop 负责。

* NioEventLoopGroup 下包含多个 NioEventLoop
* 每个 NioEventLoop 中包含有一个 Selector，一个 taskQueue
* 每个 NioEventLoop 的 Selector 上可以注册监听多个 NioChannel
* 每个 NioChannel 只会绑定在唯一的 NioEventLoop 上
* 每个 NioChannel 都绑定有一个自己的 ChannelPipeline

异步模型

基本介绍

• 异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的组件在完成后，通过状态、通知和回调来通知调用者。
• Netty 中的 I/O 操作是异步的，包括 Bind、Write、Connect 等操作会简单的返回一个 ChannelFuture。
• 调用者并不能立刻获得结果，而是通过 Future-Listener 机制，用户可以方便的主动获取或者通过通知机制获得 IO 操作结果
• Netty 的异步模型是建立在 future 和 callback 的之上的。callback 就是回调。重点说 Future，它的核心思想是：假设一个方法 fun，计算过程可能非常耗时，等待 fun返回显然不合适。那么可以在调用 fun 的时候，立马返回一个 Future，后续可以通过 Future去监控方法 fun 的处理过程(即 ： Future-Listener 机制)

Future说明

• 表示异步的执行结果, 可以通过它提供的方法来检测执行是否完成，比如检索计算等等。
• ChannelFuture 是一个接口 ： public interface ChannelFuture extends Future<Void>我们可以添加监听器，当监听的事件发生时，就会通知到监听器。

工作原理示意图

• 在使用 Netty 进行编程时，拦截操作和转换出入站数据只需要您提供 callback 或利用future 即可。这使得链式操作简单、高效, 并有利于编写可重用的、通用的代码。
• Netty 框架的目标就是让你的业务逻辑从网络基础应用编码中分离出来、解脱出来。
  

Future-Listener 机制

• 当 Future 对象刚刚创建时，处于非完成状态，调用者可以通过返回的 ChannelFuture 来获取操作执行的状态，注册监听函数来执行完成后的操作。
• 常见有如下操作：

* 通过 isDone 方法来判断当前操作是否完成；
* 通过 isSuccess 方法来判断已完成的当前操作是否成功；
* 通过 getCause 方法来获取已完成的当前操作失败的原因；
* 通过 isCancelled 方法来判断已完成的当前操作是否被取消；
* 通过 addListener 方法来注册监听器，当操作已完成(isDone 方法返回完成)，将会通知指定的监听器；如果 Future 对象已完成，则通知指定的监听器

• 举例说明演示：绑定端口是异步操作，当绑定操作处理完，将会调用相应的监听器处理逻辑。

serverBootstrap.bind(port).addListener((ChannelFutureListener) future -> {
    if(future.isSuccess()) {
        System.out.println(newDate() + ": 端口["+ port + "]绑定成功!");
    } else{
        System.err.println("端口["+ port + "]绑定失败!");
    }
});

• 小结：相比传统阻塞 I/O，执行 I/O 操作后线程会被阻塞住，直到操作完成；异步处理的好处是不会造成线程阻塞，线程在 I/O 操作期间可以执行别的程序，在高并发情形下会更稳定和更高的吞吐量。

快速入门案例

需求

• Netty 服务器在 6668 端口监听，浏览器发出请求 “http://localhost:6668/”。
• 服务器可以回复消息给客户端 "Hello! 我是服务器 5 " , 并对特定请求资源进行过滤。
• 目的：Netty 可以做Http服务开发，并且理解Handler实例和客户端及其请求的关系。

代码实现

• 服务器启动类：

public class NettyHttpServer {
    public static void main(String[] args) throws Exception {
        NioEventLoopGroup bossGroup = new NioEventLoopGroup();
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast("HttpServerCodec", new HttpServerCodec())
                                    .addLast("NettyHttpServerHandler", new NettyHttpServerHandler());
                        }
                    });

            ChannelFuture channelFuture = serverBootstrap.bind(8080).sync();
            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

• 服务器处理器类：

/**
 * SimpleChannelInboundHandler 是 ChannelInboundHandlerAdapter 的子类
 * HttpObject 客户端和服务器端相互通讯的数据被封装成HttpObject
 */
public class NettyHttpServerHandler extends SimpleChannelInboundHandler<HttpObject> {
    /**
     * channelRead0 读取客户端数据
     */
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, HttpObject msg) throws Exception {
        // 判断 msg 是否为 httpRequest请求
        if (msg instanceof HttpRequest) {
            System.out.println("msg 类型 = " + msg.getClass());
            System.out.println("客户端地址：" + ctx.channel().remoteAddress());

            HttpRequest httpRequest = (HttpRequest) msg;
            // 获取uri
            URI uri = new URI(httpRequest.uri());
            if ("/favicon.ico".equals(uri.getPath())) {
                System.out.println("请求了/favicon.ico不做响应");
                return;
            }

            // 回复信息给浏览器【http协议】
            ByteBuf content = Unpooled.copiedBuffer("Hello, I'm Server", CharsetUtil.UTF_8);
            // 构造http响应
            FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, content);
            response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain");
            response.headers().set(HttpHeaderNames.CONTENT_LENGTH, content.readableBytes());

            // 将构建好的response返回
            ctx.writeAndFlush(response);
        }
    }
}

Netty核心模块组件

Bootstrap、ServerBootstrap

• Bootstrap 意思是引导，一个 Netty 应用通常由一个 Bootstrap 开始，主要作用是配置整个 Netty 程序，串联各个组件，Netty 中 Bootstrap 类是客户端程序的启动引导类，ServerBootstrap 是服务端启动引导类。
• 常见的方法有：
  

Future、ChannelFuture

• Netty 中所有的 IO 操作都是异步的，不能立刻得知消息是否被正确处理。但是可以过一会等它执行完成或者直接注册一个监听，具体的实现就是通过 Future 和 ChannelFuture，他们可以注册一个监听，当操作执行成功或失败时监听会自动触发注册的监听事件。
• 常见的方法有：
  

Channel

• Netty 网络通信的组件，能够用于执行网络 I/O 操作。
• 通过 Channel 可获得当前网络连接的通道的状态。
• 通过Channel 可获得 网络连接的配置参数 （例如接收缓冲区大小）。
• Channel 提供异步的网络 I/O 操作(如建立连接，读写，绑定端口)，异步调用意味着任何 I/O 调用都将立即返回，并且不保证在调用结束时所请求的 I/O 操作已完成。
• 调用立即返回一个 ChannelFuture 实例，通过注册监听器到 ChannelFuture 上，可以 I/O 操作成功、失败或取消时回调通知调用方。
• 支持关联 I/O 操作与对应的处理程序。
• 不同协议、不同的阻塞类型的连接都有不同的 Channel 类型与之对应，常用的 Channel 类型：
  

Selector

• Netty 基于 Selector 对象实现 I/O 多路复用，通过 Selector 一个线程可以监听多个连接的 Channel 事件。
• 当向一个 Selector 中注册 Channel 后，Selector 内部的机制就可以自动不断地查询(Select) 这些注册的 Channel 是否有已就绪的 I/O 事件（例如可读，可写，网络连接完成等），这样程序就可以很简单地使用一个线程高效地管理多个 Channel。

ChannelHandler及其实现类

• ChannelHandler 是一个接口，处理 I/O 事件或拦截 I/O 操作，并将其转发到其 ChannelPipeline(业务处理链)中的下一个处理程序。
• ChannelHandler 本身并没有提供很多方法，因为这个接口有许多的方法需要实现，方便使用期间，可以继承它的子类。
  
• ChannelInboundHandler 用于处理入站 I/O 事件；ChannelOutboundHandler 用于处理出站 I/O 操作。
• ChannelInboundHandlerAdapter 用于处理入站 I/O 事件；ChannelOutboundHandlerAdapter 用于处理出站 I/O 操作；ChannelDuplexHandler 用于处理入站和出站事件。
• 我们经常需要自定义一个 Handler 类去继承 ChannelInboundHandlerAdapter，然后通过重写相应方法实现业务逻辑，我们接下来看看一般都需要重写哪些方法。
  

Pipeline、ChannelPipeline

• ChannelPipeline 是一个 Handler 的集合，它负责处理和拦截 inbound 或者 outbound 的事件和操作，相当于一个贯穿 Netty 的链。(也可以这样理解：ChannelPipeline 是 保存 ChannelHandler 的 List，用于处理或拦截 Channel 的入站事件和出站操作)。
• ChannelPipeline 实现了一种高级形式的拦截过滤器模式，使用户可以完全控制事件的处理方式，以及 Channel 中各个的 ChannelHandler 如何相互交互。
  
• 在 Netty 中每个 Channel 都有且仅有一个 ChannelPipeline 与之对应，它们的组成关系如下：
• ① 一个 Channel 包含了一个 ChannelPipeline，而 ChannelPipeline 中又维护了一个由 ChannelHandlerContext 组成的双向链表，并且每个 ChannelHandlerContext 中又关联着一个 ChannelHandler。
• ② 入站事件和出站事件在一个双向链表中，入站事件会从链表 head 往后传递到最后一个入站的 handler，出站事件会从链表 tail 往前传递到最前一个出站的 handler，两种类型的 handler 互不干扰。
• 常用方法：
  

ChannelHandlerContext

• 保存 Channel 相关的所有上下文信息，同时关联一个 ChannelHandler 对象，即ChannelHandlerContext 中 包 含 一 个 具 体 的 事 件 处 理 器 ChannelHandler ， 同 时ChannelHandlerContext 中也绑定了对应的 pipeline 和 Channel 的信息，方便对 ChannelHandler进行调用。
• 常用方法：
  

ChannelOption

• Netty 在创建 Channel 实例后，一般都需要设置 ChannelOption 参数。
• ChannelOption 参数如下：
  

EventLoopGroup和其实现类

• EventLoopGroup 是一组 EventLoop 的抽象，Netty 为了更好的利用多核 CPU 资源，一般会有多个 EventLoop 同时工作，每个 EventLoop 维护着一个 Selector 实例。
• EventLoopGroup 提供 next 接口，可以从组里面按照一定规则获取其中一个 EventLoop来处理任务。在 Netty 服务器端编程中，我们一般都需要提供两个 EventLoopGroup，例如：BossEventLoopGroup 和 WorkerEventLoopGroup。
• 通常一个服务端口即一个 ServerSocketChannel对应一个Selector 和一个EventLoop线程。BossEventLoop 负责接收客户端的连接并将 SocketChannel 交给 WorkerEventLoopGroup 来进行 IO 处理，如下图所示：
  
  
  
• 常用方法：
  

Unpooled

• Netty 提供一个专门用来操作缓冲区(即Netty的数据容器)的工具类。
• 常用方法如下所示：
  
• 举例说明Unpooled 获取 Netty的数据容器ByteBuf 的基本使用：
• 案例一：

public class ByteBufCase01 {
    public static void main(String[] args) {
        // 创建一个ByteBuf
        // 该对象包含一个数组，是一个byte[10]
        // 在netty的buffer中，不需要使用flip进行反转，底层维护了 readerIndex 和 writeIndex
        // 通过 readerIndex 和 writerIndex 和 capacity， 将 buffer 分成三个区域
        // 0---readerIndex 已经读取的区域
        // readerIndex---writerIndex 可读的区域
        // writerIndex -- capacity 可写的区域
        ByteBuf buffer = Unpooled.buffer(10);
        for (int i = 0; i < 10; i++) {
            buffer.writeByte(i);
        }

        System.out.println("capacity = " + buffer.capacity());
        // 输出
        for (int i = 0; i < buffer.capacity(); i++) {
            System.out.printf("%d\t", buffer.getByte(i));
        }
        System.out.println();
        // 输出
        for (int i = 0; i < buffer.capacity(); i++) {
            System.out.printf("%d\t", buffer.readByte());
        }
        System.out.println();
        System.out.println("执行完毕");
    }
}

• 案例二：

public class ByteBufCase02 {
    public static void main(String[] args) {
        ByteBuf buffer = Unpooled.copiedBuffer("Hello,World!", Charset.forName("utf-8"));
        // 使用相关方法
        if (buffer.hasArray()) {
            byte[] content = buffer.array();
            // 将content转为字符串
            System.out.println(new String(content, Charset.forName("utf-8")).trim());
            System.out.println("buteBuf = " + buffer);
            System.out.println("buffer.arrayOffset() = " + buffer.arrayOffset());
            System.out.println("buffer.readerIndex() = " + buffer.readerIndex());
            System.out.println("buffer.writerIndex() = " + buffer.writerIndex());
            System.out.println("buffer.capacity() = " + buffer.capacity());

            System.out.println(buffer.readBytes(0));
//            System.out.println(buffer.readByte());

            int len = buffer.readableBytes();
            System.out.println("buffer.readableBytes() = " + len);

            // 使用for循环读取各个字符
            for (int i = 0; i < len; i++) {
                System.out.printf("%s\t", (char) buffer.getByte(i));
            }
            System.out.println();

            // 读取某一段buffer
            System.out.println(buffer.getCharSequence(0, 4, Charset.forName("utf-8")));
            System.out.println(buffer.getCharSequence(4, 6, Charset.forName("utf-8")));
        }
    }
}
//Hello,World!
//buteBuf = UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeHeapByteBuf(ridx: 0, widx: 12, cap: 36)
//buffer.arrayOffset() = 0
//buffer.readerIndex() = 0
//buffer.writerIndex() = 12
//buffer.capacity() = 36
//EmptyByteBufBE
//buffer.readableBytes() = 12
//H	e	l	l	o	,	W	o	r	l	d	!
//Hell
//o,Worl

应用实例-群聊系统

需求

• 编写一个 Netty 群聊系统，实现服务器端和客户端之间的数据简单通讯（非阻塞），实现多人群聊。
• 服务器端：可以监测用户上线，离线，并实现消息转发功能。
• 客户端：通过channel 可以无阻塞发送消息给其它所有用户，同时可以接受其它用户发送的消息(有服务器转发得到)。
• 目的：进一步理解Netty非阻塞网络编程机制。

代码实现

• 服务端启动类：

public class GroupChatServer {
    private void run() throws Exception {
        NioEventLoopGroup bossGroup = new NioEventLoopGroup(1);
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();
        ServerBootstrap serverBootstrap = new ServerBootstrap();

        try {
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .option(ChannelOption.SO_BACKLOG, 128)
                    .childOption(ChannelOption.SO_KEEPALIVE, true)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();
                            pipeline.addLast(new StringDecoder())
                                    .addLast(new StringEncoder())
                                    .addLast(new GroupChatServerHandler());
                        }
                    });
            System.out.println("Netty 服务器启动成功...");
            ChannelFuture channelFuture = serverBootstrap.bind(PORT).sync();

            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) throws Exception {
        GroupChatServer chatServer = new GroupChatServer();
        chatServer.run();
    }
}

• 服务端处理器类：

public class GroupChatServerHandler extends SimpleChannelInboundHandler<String> {
    /**
     * 定义一个channel组，管理所有的channel
     * GlobalEventExecutor.INSTANCE 是全局的事件执行器，是一个单例
     */
    private static ChannelGroup channelGroup = new DefaultChannelGroup(GlobalEventExecutor.INSTANCE);
    private SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

    /**
     * 一旦连接，第一个被执行
     * 将当前的channel加入到channelGroup
     */
    @Override
    public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
        Channel channel = ctx.channel();
        // 将该客户加入聊天的信息推送给其他在线的客户端
        channelGroup.writeAndFlush(getCurDate() + "【客户端】" + channel.remoteAddress() + "加入聊天\n");
        channelGroup.add(channel);
    }

    /**
     * channel处于活动状态，上线
     */
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        System.out.println(getCurDate() + ctx.channel().remoteAddress() + " 上线了~");
    }

    /**
     * channel处于不活动状态，离线
     */
    @Override
    public void channelInactive(ChannelHandlerContext ctx) throws Exception {
        System.out.println(getCurDate() + ctx.channel().remoteAddress() + " 离线了~");
    }

    /**
     * 断开连接，将xx客户离开的信息推送给当前在线的客户端
     */
    @Override
    public void handlerRemoved(ChannelHandlerContext ctx) throws Exception {
        Channel channel = ctx.channel();
        channelGroup.writeAndFlush(getCurDate() + "【客户端】" + channel.remoteAddress() + " 离开了\n");
        System.out.println("当前channelGroup的大小" + channelGroup.size());
    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
        // 获取当前的channel
        Channel channel = ctx.channel();
        // 遍历channelGroup，根据不同的情况，回送不同的消息
        channelGroup.forEach(ch -> {
            if (ch != channel) {
                ch.writeAndFlush(getCurDate() + "【客户】" + channel.remoteAddress() + "发送消息：" + msg + "\n");
            } else {
                ch.writeAndFlush(getCurDate() + "【自己】发送了消息" + msg + "\n");
            }
        });
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        // 发送异常，关闭通道
        ctx.close();
    }

    private String getCurDate() {
        return sdf.format(new Date());
    }
}

• 客户端启动类：

public class GroupChatClient {
    private void run() throws Exception {
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(workerGroup)
                    .channel(NioSocketChannel.class)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();
                            pipeline.addLast(new StringDecoder())
                                    .addLast(new StringEncoder())
                                    .addLast(new GroupChatClientHandler());
                        }
                    });

            ChannelFuture channelFuture = bootstrap.connect(IP, PORT).sync();

            Channel channel = channelFuture.channel();
            System.out.println("===========" + channel.localAddress() + "==========");

            Scanner scanner = new Scanner(System.in);
            while (scanner.hasNextLine()) {
                String content = scanner.nextLine();
                channel.writeAndFlush(content + "\r\n");
            }

            channelFuture.channel().closeFuture().sync();
        } finally {
            workerGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) throws Exception {
        GroupChatClient chatClient = new GroupChatClient();
        chatClient.run();
    }
}

• 客户端处理器类：

public class GroupChatClientHandler extends SimpleChannelInboundHandler<String> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
        System.out.println(msg.trim());
    }
}

• 测试：
  
  
  
  

Netty心跳检测机制案例

需求

• 编写一个 Netty心跳检测机制案例, 当服务器超过3秒没有读时，就提示读空闲。
• 当服务器超过5秒没有写操作时，就提示写空闲。
• 实现当服务器超过7秒没有读或者写操作时，就提示读写空闲。

代码实现

• 服务端启动类：

public class MyServer {
    public static void main(String[] args) throws Exception {
        NioEventLoopGroup bossGroup = new NioEventLoopGroup(1);
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    // 在 bossGroup 增加一个日志处理器
                    .handler(new LoggingHandler(LogLevel.INFO))
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();
                            // 加入一个Netty提供的IdleStateHandler
                            // IdleStateHandler 是 Netty 提供的处理空闲状态的处理器
                            // long readerIdleTime：表示多长时间没有读，就会发送一个心跳检测包检测是否连接
                            // long writerIdleTime：表示多长时间没有写，就会发送一个心跳检测包检测是否连接
                            // long allIdleTime：表示多长时间没有读写，就会发送一个心跳检测包检测是否连接
                            // 当 IdleStateEvent 触发后，就会传递给管道的下一个handler，通过调用(触发)下一个 handler 的 userEventTiggered，
                            // 在该方法中去处理 IdleStateEvent（读空闲、写空间、读写空闲）
                            pipeline.addLast(new IdleStateHandler(13, 5, 7, TimeUnit.SECONDS))
                                    // 加入一个对空闲检测进一步处理的handler(指定会议)
                                    .addLast(new MyServerHandler());
                        }
                    });
            ChannelFuture channelFuture = serverBootstrap.bind(6667).sync();

            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

• 服务端处理器类：

public class MyServerHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws Exception {
        if (evt instanceof IdleStateEvent) {
            IdleStateEvent event = (IdleStateEvent) evt;
            String eventType = "";
            switch (event.state()) {
                case READER_IDLE:
                    eventType = "读空闲";
                    break;
                case WRITER_IDLE:
                    eventType = "写空闲";
                    break;
                case ALL_IDLE:
                    eventType = "读写空闲";
                    break;
                default:
                    break;
            }
            System.out.println(ctx.channel().remoteAddress() + "--超时事件--" + eventType);
            // 如果发生空闲，我们关闭通道
            ctx.channel().close();
        }
    }
}

Netty 通过 WebSocket 编程实现服务器和客户端长连接

需求

• Http协议是无状态的，浏览器和服务器间的请求响应一次，下一次会重新创建连接。
• 要求：实现基于webSocket的长连接的全双工的交互。
• 改变Http协议多次请求的约束，实现长连接， 服务器可以发送消息给浏览器。
• 客户端浏览器和服务器端会相互感知，比如服务器关闭了，浏览器会感知；同样浏览器关闭了，服务器会感知。

代码实现

• 服务端启动类：

public class WebsocketServer {
    public static void main(String[] args) throws Exception {
        WebsocketServer websocketServer = new WebsocketServer();
        websocketServer.run();
    }

    private void run() throws Exception {
        NioEventLoopGroup bossGroup = new NioEventLoopGroup();
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .handler(new LoggingHandler(LogLevel.INFO))
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();
                            // 因为基于http协议，所以要使用http的编解码器
                            pipeline.addLast(new HttpServerCodec())
                                    // 以块方式写，添加 ChunkedWriteHandler 处理器
                                    .addLast(new ChunkedWriteHandler())
                                    // http数据在传输过程中是分段的，HttpObjectAggregator 就是可以将多个段聚合
                                    // 这就是为什么当浏览器发生大量数据时，就会发送多次http请求
                                    .addLast(new HttpObjectAggregator(8192))
                                    // 对于 WebSocket 的数据是以帧形式传递，可以看到 WebSocketFrame 下面有六个子类
                                    // 浏览器请求时 ws://localhost:6667/hello
                                    // WebSocketServerProtocolHandler 核心功能是将 http 协议升级为 ws 协议，保持长连接
                                    // 其是通过一个状态码 101
                                    .addLast(new WebSocketServerProtocolHandler("/hello"))
                                    // 自定义 Handler，处理业务逻辑
                                    .addLast(new TextWebSocketFrameHandler());
                        }
                    });
            ChannelFuture channelFuture = serverBootstrap.bind(8080).sync();
            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

• 服务端处理器类：

/**
 * TextWebSocketFrame：表示一个文本帧(frame)
 */
public class TextWebSocketFrameHandler extends SimpleChannelInboundHandler<TextWebSocketFrame> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, TextWebSocketFrame msg) throws Exception {
        System.out.println("服务器端收到消息：" + msg.text());
        // 回复浏览器消息
        ctx.channel().writeAndFlush(new TextWebSocketFrame("服务器时间：" + LocalDateTime.now() + "\n" + msg.text()));
    }

    /**
     * 当web客户端连接后，触发方法
     */
    @Override
    public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
        // id 表示唯一的值，LongText是唯一的，ShortText不是唯一的
        System.out.println("handlerAdded 被调用" + ctx.channel().id().asLongText());
        System.out.println("handlerAdded 被调用" + ctx.channel().id().asShortText());
    }

    @Override
    public void handlerRemoved(ChannelHandlerContext ctx) throws Exception {
        System.out.println("handlerRemoved 被调用" + ctx.channel().id().asLongText());
        System.out.println("handlerRemoved 被调用" + ctx.channel().id().asShortText());
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        System.out.println("异常发生 " + cause.getMessage());
        ctx.close();
    }
}

• 客户端html：

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Title</title>
</head>
<body>
  <form onsubmit="return false">
    <textarea name="message" style="height: 300px; width: 300px;"> </textarea>
    <input type="button" value="发生消息" onclick="send(this.form.message.value)" />
    <textarea id="resText" style="height: 300px; width: 300px;"> </textarea>
    <input type="button" value="清空内容" onclick="document.getElementById('resText').value = ''" />
  </form>
  <script type="text/javascript">
    var socket;
    if (window.WebSocket) {
      socket = new WebSocket("ws://localhost:8080/hello");
      var res = document.getElementById('resText');

      // 相当于 channelRead0，ev 收到服务端回送的消息
      socket.onmessage = function (ev) {
        res.value = res.value + "\n" + ev.data;
      };
      // 相当于连接开启
      socket.onopen = function (ev) {
        res.value = "连接开启了..."
      };
      // 相当于连接关闭
      socket.onclose = function (ev) {
        res.value = res.value + "\n连接关闭了..."
      }
    } else {
      alert("当前浏览器不支持WebSocket")
    }
    // 发送消息给服务端
    function send(message) {
      if (!window.socket) {
        return;
      }
      if (socket.readyState === WebSocket.OPEN) {
        socket.send(message);
      } else {
        alert("连接未开启");
      }
    }
  </script>
</body>
</html>

Google Protobuf

编码和解码基本介绍

• 编写网络应用程序时，因为数据在网络中传输的都是二进制字节码数据，在发送数据时就需要编码，接收数据时就需要解码。
• codec(编解码器) 的组成部分有两个：decoder(解码器)和 encoder(编码器)。encoder 负责把业务数据转换成字节码数据，decoder 负责把字节码数据转换成业务数据。
  

Netty的编解码机制

• Netty 自身提供了一些 codec(编解码器)，例如：

* StringEncoder: 对字符串数据进行编码
* ObjectDecoder，对 Java 对象进行解码

• Netty 本身自带的 ObjectDecoder 和 ObjectEncoder 可以用来实现 POJO 对象或各种业务对象的编码和解码，底层使用的仍是 Java 序列化技术 , 而Java 序列化技术本身效率就不高，存在如下问题

* 无法跨语言
* 序列化后的体积太大，是二进制编码的 5 倍多
* 序列化性能太低

• 引出 新的解决方案 [Google 的 Protobuf]

Protobuf

Protobuf基本介绍

• Protobuf 是 Google 发布的开源项目，全称 Google Protocol Buffers，是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC[远程过程调用 remote procedure call ] 数据交换格式 。
• 目前很多公司 http+json  tcp+protobuf。
• 参考文档 : 语言指南。
• Protobuf 是以 message 的方式来管理数据的。
• 支持跨平台、跨语言，即[客户端和服务器端可以是不同的语言编写的] （支持目前绝大多数语言，例如 C++、C#、Java、python 等）。
• 高性能，高可靠性
• 使用 protobuf 编译器能自动生成代码，Protobuf 是将类的定义使用.proto 文件进行描述。说明，在idea 中编写 .proto 文件时，会自动提示是否下载 .ptotot 编写插件. 可以让语法高亮。
• 然后通过 protoc.exe 编译器根据.proto 自动生成.java 文件。
• protobuf 使用示意图：
  

快速入门实例1

需求

• 客户端可以发送一个Student PoJo 对象到服务器 (通过 Protobuf 编码) 。
• 服务端能接收Student PoJo 对象，并显示信息(通过 Protobuf 解码)。

代码实现

• 编写Student.proto

syntax = "proto3"; // 版本
option java_outer_classname = "StudentPOJO"; // 生成的外部类名，同时也是文件名
// protobuf 使用 message 管理数据
message Student { // 会在 StudentPOJO 外部类生成一个内部类 Student， 他是真正发送的 POJO 对象
    // Student 类中有 一个属性 名字为 id 类型为 int32(protobuf 类型) 1 表示属性序号，不是值
    int32 id = 1;
    string name = 2;
}

• proto文件与其它语言对应的数据类型：
  
• 使用protoc工具生成 StudentPOJO.java 文件
• 客户端发送消息：
  
• 服务端接收消息：
  

快速入门实例2

需求

• 客户端可以随机发送Student PoJo/ Worker PoJo 对象到服务器 (通过 Protobuf 编码) 。
• 服务端能接收Student PoJo/ Worker PoJo 对象(需要判断是哪种类型)，并显示信息(通过 Protobuf 解码)。

代码实现

• 编写MyMessage.proto：

syntax = "proto3"; // 版本
option optimize_for = SPEED; // 加快解析
option java_package = "com.netty.codec"; // 指定生成到哪个包下
option java_outer_classname = "MyDataInfo"; // 生成的外部类名，同时也是文件名
// protobuf 使用 message 管理数据
message MyMessage {
    // 定义一个枚举类型
    enum DataType {
        StudentType = 0;
        WorkerType = 1;
    }
    // 用 DataType 来标识传的是哪一个枚举类型
    DataType data_type = 1;

    // 表示每次枚举类型最多只能出现其中的一个，节省空间
    oneof dataBody {
        Student student = 2;
        Worker worker = 3;
    }
}
message Student { // 会在 StudentPOJO 外部类生成一个内部类 Student， 他是真正发送的 POJO 对象
    int32 id = 1; // Student 类的属性
    string name = 2;
}
message Worker {
    string name = 1;
    int32 age = 2;
}

• 使用protoc工具生成 MyDataInfo.java 文件
• 客户端发送消息：
  
• 服务端接收消息：
  

Netty编解码器和handler的调用机制

基本说明

• Netty的组件设计：Netty的主要组件有Channel、EventLoop、ChannelFuture、ChannelHandler、ChannelPipe等。
• ChannelHandler充当了处理入站和出站数据的应用程序逻辑的容器。例如，实现ChannelInboundHandler接口（或ChannelInboundHandlerAdapter），你就可以接收入站事件和数据，这些数据会被业务逻辑处理。当要给客户端发送响应时，也可以从ChannelInboundHandler冲刷数据。业务逻辑通常写在一个或者多个ChannelInboundHandler中。ChannelOutboundHandler原理一样，只不过它是用来处理出站数据的。
• ChannelPipeline提供了ChannelHandler链的容器。以客户端应用程序为例，如果事件的运动方向是从客户端到服务端的，那么我们称这些事件为出站的，即客户端发送给服务端的数据会通过pipeline中的一系列ChannelOutboundHandler，并被这些Handler处理，反之则称为入站的。
  

编码解码器

• 当Netty发送或者接受一个消息的时候，就将会发生一次数据转换。入站消息会被解码：从字节转换为另一种格式（比如java对象）；如果是出站消息，它会被编码成字节。
• Netty提供一系列实用的编解码器，他们都实现了ChannelInboundHadnler或者ChannelOutboundHandler接口。在这些类中，channelRead方法已经被重写了。以入站为例，对于每个从入站Channel读取的消息，这个方法会被调用。随后，它将调用由解码器所提供的decode()方法进行解码，并将已经解码的字节转发给ChannelPipeline中的下一个ChannelInboundHandler。

解码器-ByteToMessageDecoder

• 关系继承图：
  
• 由于不可能知道远程节点是否会一次性发送一个完整的信息，tcp有可能出现粘包拆包的问题，这个类会对入站数据进行缓冲，直到它准备好被处理。
• 一个关于ByteToMessageDecoder实例分析

public class ToIntegerDecoder extends ByteToMessageDecoder {
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
        if (in.readableBytes() >= 4) {
            out.add(in.readInt());
        }
    }
}

• 这个例子，每次入站从ByteBuf中读取4字节，将其解码为一个int，然后将它添加到下一个List中。没有更多元素可以被添加到该 List 中时，它的内容将会被发送给下一个 ChannelInboundHandler。int 在被添加到List中时，会被自动装箱为 Integer。在调用 readInt() 方法前必须验证所输入的 ByteBuf 是否具有足够的数据。
• decode 执行分析图：
  

Netty的handler链的调用机制

需求

• 使用自定义的编码器和解码器来说明Netty的handler 调用机制，客户端发送 Long 到服务器，服务端发送 Long 到客户端。
  

代码实现

编解码器

• 编码器：

public class MyLongToByteEncoder extends MessageToByteEncoder<Long> {

    @Override
    protected void encode(ChannelHandlerContext ctx, Long msg, ByteBuf out) throws Exception {
        System.out.println("==>> MyLongToByteEncoder.encode() 被调用");
        System.out.println("msg = " + msg);
        out.writeLong(msg);
    }
}

• 解码器：

public class MyByteToLongDecoder extends ByteToMessageDecoder {
    /**
     * decode会根据接收到的数据，被多次调用，直到确定没有新的元素被添加到list，或者是ByteBuf没有更多的可读字节为止
     * 如果list out不为空，就会将list的内容传递给下一个 ChannelInboundHandler 处理，该处理器的方法也会被调用多次
     * @param ctx 上下文对象
     * @param in  入站的ByteBuf
     * @param out list集合，将解码后的数据传给下一个Handler
     * @throws Exception
     */
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
        System.out.println("==>> MyByteToLongDecoder.decode() 被调用");
        if (in.readableBytes() >= 8) {
            out.add(in.readLong());
        }
    }
}

服务端

public class MyServer {
    public static void main(String[] args) throws Exception {
        NioEventLoopGroup bossGroup = new NioEventLoopGroup();
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new MyServerInitializer());
            ChannelFuture channelFuture = serverBootstrap.bind(6667).sync();
            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}
public class MyServerInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        ChannelPipeline pipeline = ch.pipeline()
                // 入站的 handler 进行解码 MyByteToLongDecoder
                .addLast(new MyByteToLongDecoder())
                // 出站的 handler 进行编码
                .addLast(new MyLongToByteEncoder())
                .addLast(new MyServerHandler());
    }
}
public class MyServerHandler extends SimpleChannelInboundHandler<Long> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, Long msg) throws Exception {
        System.out.println("从客户端" + ctx.channel().remoteAddress() + "读取到Long" + msg);
        // 给客户端回送消息
        ctx.writeAndFlush(98765L);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

客户端

public class MyClient {
    public static void main(String[] args) throws Exception {
        NioEventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(group)
                    .channel(NioSocketChannel.class)
                    .handler(new MyClientInitializer());
            ChannelFuture channelFuture = bootstrap.connect("localhost", 6667);
            channelFuture.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully();
        }
    }
}
public class MyClientInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        ChannelPipeline pipeline = ch.pipeline()
                // 加入一个出站的 handler 对数据进行一个编码
                .addLast(new MyLongToByteEncoder())
                // 加入一个入站的 handler 对数据进行一个解码
                .addLast(new MyByteToLongDecoder())
                // 加入一个自定义的 handler，处理业务
                .addLast(new MyClientHandler());
    }
}
public class MyClientHandler extends SimpleChannelInboundHandler<Long> {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, Long msg) throws Exception {
        System.out.println("服务端ip = " + ctx.channel().remoteAddress());
        System.out.println("收到服务端消息 = " + msg);
    }

    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("MyClientHandler 发送数据");
        ctx.writeAndFlush(123456L);
        /*
        分析：abcdabcdabcdabcd 是 16 个字节，该处理器的前一个 handler 是 MyLongToByteEncoder
        MyLongToByteEncoder 父类是 MessageToByteEncoder
        父类 MessageToByteEncoder 中
        public void write(ChannelHandlerContext ctx, Object msg, ChannelPromise promise) throws Exception {
            ByteBuf buf = null;
            try {
                // 判断当前msg是不是应该处理的类型，如果是就处理，否则就跳过、交给下一个处理器处理
                if (acceptOutboundMessage(msg)) {
                    @SuppressWarnings("unchecked")
                    I cast = (I) msg;
                    buf = allocateBuffer(ctx, cast, preferDirect);
                    try {
                        encode(ctx, cast, buf);
                    } finally {
                        ReferenceCountUtil.release(cast);
                    }

                    if (buf.isReadable()) {
                        ctx.write(buf, promise);
                    } else {
                        buf.release();
                        ctx.write(Unpooled.EMPTY_BUFFER, promise);
                    }
                    buf = null;
                } else {
                    ctx.write(msg, promise);
                }
            } catch (EncoderException e) {
                throw e;
            } catch (Throwable e) {
                throw new EncoderException(e);
            } finally {
                if (buf != null) {
                    buf.release();
                }
            }
        }
         */
//        // 因此我们在编写 Encoder 时，要注意传入的数据类型和处理的数据类型一致
//        ctx.writeAndFlush(Unpooled.copiedBuffer("abcdabcdabcdabcd", CharsetUtil.UTF_8));
    }
}

• 结果输出：

* 服务端
==>> MyByteToLongDecoder.decode() 被调用
从客户端/127.0.0.1:50708读取到Long123456
==>> MyLongToByteEncoder.encode() 被调用
msg = 98765

* 客户端
MyClientHandler 发送数据
==>> MyLongToByteEncoder.encode() 被调用
msg = 123456
==>> MyByteToLongDecoder.decode() 被调用
服务端ip = localhost/127.0.0.1:6667
收到服务端消息 = 98765

结论

• 不论解码器handler 还是 编码器handler，即接收的消息类型必须与待处理的消息类型一致，否则该handler不会被执行。
• 在解码器进行数据解码时，需要判断缓存区(ByteBuf)的数据是否足够 ，否则接收到的结果会期望结果可能不一致。

解码器-ReplayingDecoder

public abstract class ReplayingDecoder<S> extends ByteToMessageDecoder

• ReplayingDecoder扩展了ByteToMessageDecoder类，使用这个类，我们不必调用readableBytes()方法。参数S指定了用户状态管理的类型，其中Void代表不需要状态管理。

public class MyByteToLongDecoder2 extends ReplayingDecoder<Void> {
    /**
     * decode会根据接收到的数据，被多次调用，直到确定没有新的元素被添加到list，或者是ByteBuf没有更多的可读字节为止
     * 如果list out不为空，就会将list的内容传递给下一个 ChannelInboundHandler 处理，该处理器的方法也会被调用多次
     *
     * @param ctx 上下文对象
     * @param in  入站的ByteBuf
     * @param out list集合，将解码后的数据传给下一个Handler
     * @throws Exception
     */
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
        System.out.println("==>> MyByteToLongDecoder2.decode() 被调用");
        // ReplayingDecoder 不需要判断数据足够读取，其内部会处理
        out.add(in.readLong());
    }
}

• 应用实例：使用ReplayingDecoder 编写解码器，对前面的案例进行简化。
• ReplayingDecoder使用方便，但它也有一些局限性：

* 并不是所有的 ByteBuf 操作都被支持，如果调用了一个不被支持的方法，将会抛出一个 UnsupportedOperationException
* ReplayingDecoder 在某些情况下可能稍慢于 ByteToMessageDecoder，例如网络缓慢并且消息格式复杂时，消息会被拆成了多个碎片，速度变慢

其它编解码器

• LineBasedFrameDecoder：这个类在Netty内部也有使用，它使用行尾控制字符（\n或者\r\n）作为分隔符来解析数据。
• DelimiterBasedFrameDecoder：使用自定义的特殊字符作为消息的分隔符。
• HttpObjectDecoder：一个HTTP数据的解码器。
• LengthFieldBasedFrameDecoder：通过指定长度来标识整包消息，这样就可以自动的处理黏包和半包消息。

Log4j整合到Netty

• 在Maven 中添加对Log4j的依赖 在 pom.xml。

<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.25</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    <version>1.7.25</version>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-simple</artifactId>
    <version>1.7.25</version>
    <scope>test</scope>
</dependency>

• 配置 Log4j , 在 resources/log4j.properties

log4j.rootLogger=DEBUG, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%p] %C{1} - %m%n

TCP粘包和拆包

粘包和拆包基本介绍

• TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样做虽然提高了效率，但是接收端就难于分辨出完整的数据包了，因为面向流的通信是无消息保护边界的。
• 由于TCP无消息保护边界, 需要在接收端处理消息边界问题，也就是我们所说的粘包、拆包问题, 看一张图：
  
  假设客户端分别发送了两个数据包D1和D2给服务端，由于服务端一次读取到字节数是不确定的，故可能存在以下四种情况：
• 服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包；
• 服务端一次接受到了两个数据包，D1和D2粘合在一起，称之为TCP粘包；
• 服务端分两次读取到了数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余内容，这称之为TCP拆包；
• 服务端分两次读取到了数据包，第一次读取到了D1包的部分内容D1_1，第二次读取到了D1包的剩余部分内容D1_2和完整的D2包。

粘包和拆包现象实例

在编写Netty 程序时，如果没有做处理，就会发生粘包和拆包的问题：

• 服务端：

public class MyServer {
    public static void main(String[] args) throws Exception {
        NioEventLoopGroup bossGroup = new NioEventLoopGroup();
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new MyServerHandler());
                        }
                    });
            ChannelFuture channelFuture = serverBootstrap.bind(6667).sync();
            channelFuture.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}
public class MyServerHandler extends SimpleChannelInboundHandler<ByteBuf> {
    private int count;

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
        byte[] bytes = new byte[msg.readableBytes()];
        msg.readBytes(bytes);

        String message = new String(bytes, Charset.forName("utf-8"));

        System.out.println("服务端接收到的数据 = " + message);
        System.out.println("服务端接收到的消息量 = " + (++this.count));

        ByteBuf byteBuf = Unpooled.copiedBuffer(UUID.randomUUID().toString()+ "\n", Charset.forName("utf-8"));
        ctx.writeAndFlush(byteBuf);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

• 客户端：

public class MyClient {
    public static void main(String[] args) throws Exception {
        NioEventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(group)
                    .channel(NioSocketChannel.class)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new MyClientHandler());
                        }
                    });
            ChannelFuture channelFuture = bootstrap.connect("localhost", 6667);
            channelFuture.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully();
        }
    }
}
public class MyClientHandler extends SimpleChannelInboundHandler<ByteBuf> {
    private int count;

    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        for (int i = 0; i < 10; i++) {
            ByteBuf byteBuf = Unpooled.copiedBuffer("Hello,Server" + i + "\n", Charset.forName("utf-8"));
            ctx.writeAndFlush(byteBuf);
        }
    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
        byte[] bytes = new byte[msg.readableBytes()];
        msg.readBytes(bytes);

        String message = new String(bytes, Charset.forName("utf-8"));

        System.out.println("客户端接收到的数据 = " + message);
        System.out.println("服务端接收到的消息量 = " + (++this.count));
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

粘包和拆包解决方案

• 使用自定义协议 + 编解码器 来解决；
• 关键就是要解决 服务器端每次读取数据长度的问题, 这个问题解决，就不会出现服务器多读或少读数据的问题，从而避免的TCP 粘包、拆包 。

具体实例

需求

• 要求客户端发送 5 个 Message 对象, 客户端每次发送一个 Message 对象。
• 服务器端每次接收一个Message，分5次进行解码， 每读取到 一个Message , 会回复一个Message 对象 给客户端。

代码实现

• 定义消息协议

@Data
@Accessors(chain = true)
public class MessageProtocol {
    private int len;
    private byte[] content;
}

• 定义编码器：

public class MyMessageEncoder extends MessageToByteEncoder<MessageProtocol> {
    @Override
    protected void encode(ChannelHandlerContext ctx, MessageProtocol msg, ByteBuf out) throws Exception {
        System.out.println("MyMessageEncoder.encode() 被调用");
        out.writeInt(msg.getLen());
        out.writeBytes(msg.getContent());
    }
}

• 定义解码器：

public class MyMessageDecoder extends ReplayingDecoder<Void> {
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
        System.out.println("MyMessageDecoder.decode() 被调用");
        int len = in.readInt();
        byte[] content = new byte[len];
        in.readBytes(content);
        val messageProtocol = new MessageProtocol()
                .setContent(content)
                .setLen(len);

        out.add(messageProtocol);
    }
}

• 服务端：
  
• 客户端：