Netty详解-通俗易懂

概述

Netty 是由 JBOSS 提供的一个 Java 开源框架。Netty 提供异步的、基于事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络 IO 程序。Netty 主要用来做网络通信，一般可以用来作RPC框架的通信工具、实现即时通讯系统以及实时消息推送系统等。
Netty 是一个基于 Java NIO（New Input/Output）库的网络应用框架，它提供了一种易于使用的 API 来快速开发高性能、可靠的网络应用程序。以下是 Netty 框架的一些主要特点和优势：

1. 异步事件驱动：Netty 是基于事件驱动的框架，通过事件和回调机制来处理网络操作，使得编程模型更加简单和高效。
2. 高性能：Netty 使用了零拷贝技术和内存池等优化手段，提高了数据传输的效率，同时支持高并发处理，适合开发高性能的网络应用程序。
3. 灵活性：Netty 提供了丰富的 API 和组件，可以根据具体需求定制和扩展功能，支持各种协议和应用场景。
4. 易用性：Netty 的 API 设计简洁清晰，提供了丰富的文档和示例，使得开发人员能够快速上手并开发出稳定可靠的网络应用。
5. 安全性：Netty 内置了对 SSL/TLS 的支持，可以轻松实现安全的网络通信，保障数据的传输安全性。
6. 跨平台：Netty 可以在多个操作系统上运行，并且对不同的网络库进行了封装，使得开发人员可以方便地编写跨平台的网络应用程序。
   总之，Netty 是一个功能强大、灵活性高、性能优越的网络应用框架，被广泛应用于各种网络编程场景，包括服务器端、客户端、代理服务器等。如果你想深入了解 Netty，可以查阅官方文档和示例，以便更好地利用这个强大的框架来构建高性能的网络应用程序。

原生 NIO 存在问题

1.NIO 的类库和 API 繁杂
2.需要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor 模式，必须对多线程和网络编程非常熟悉， 才能编写出高质量的 NIO 程序
3.开发工作量和难度都非常大。例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常 流的处理等等处理起来难度会比较大。
4.JDK NIO 的 Bug：例如臭名昭著的 Epoll Bug，它会导致 Selector 空轮询，最终导致 CPU 100%。直到 JDK 1.7 版本该问题仍旧存在，没有被根本解决。

为什么Netty适合做网络编程

Netty 是一个基于 NIO（Non-blocking I/O）的高性能网络应用框架，适合做网络编程的主要原因

1. 异步非阻塞：Netty 基于 NIO 的异步非阻塞模型，可以处理大量并发连接而不需要为每个连接分配一个线程，从而降低了线程管理的开销，提高了系统的并发能力和性能。
2. 高性能：Netty 使用了零拷贝技术和内存池等技术来优化数据传输和处理，同时采用了多种高效的编解码器，使得网络通信的性能得到了很大的提升。
3. 灵活的事件模型：Netty 提供了灵活的事件模型和通道处理机制，开发人员可以方便地定义自己的事件处理逻辑，实现高度定制化的网络应用。
4. 良好的扩展性：Netty 提供了丰富的 API 和组件，支持多种协议，包括 TCP、UDP、HTTP 等，同时也支持 SSL/TLS 加密、WebSocket 等，并且可以很容易地扩展和定制。
5. 成熟稳定：Netty 是一个经过广泛应用和验证的成熟框架，有着活跃的社区和完善的文档支持，因此在实际生产环境中得到了广泛应用和认可。
   总的来说，Netty 适合做网络编程的原因在于其异步非阻塞模型、高性能、灵活的事件模型、良好的扩展性以及成熟稳定的特点，使得它成为开发高性能、可靠的网络应用的理想选择。

使用场景

构建高性能、低时延的各种 Java 中间件，例如 MQ、分布式服务框架、ESB 消息总线等，Netty 主要作为基础通信框架提供高性能、低时延的通信服务；公有或者私有协议栈的基础通信框架，例如可以基于 Netty 构建异步、高性能的WebSocket 协议栈；各领域应用，例如大数据、游戏等，Netty 作为高性能的通信框架用于内部各模块的数据分发、传输和汇总等，实现模块之间高性能通信。
理论上来说，NIO 可以做的事情 ，使用 Netty 都可以做并且更好。Netty 主要用来做网络通信 :

1. 作为 RPC 框架的网络通信工具 ：我们在分布式系统中，不同服务节点之间经常需要相互 调用，这个时候就需要 RPC 框架了。不同服务节点之间的通信是如何做的呢？可以使用 Netty 来做。比如我调用另外一个节点的方法的话，至少是要让对方知道我调用的是哪个类中的哪个方法以及相关参数吧！
   2、 实现一个自己的 HTTP 服务器 ：通过 Netty 我们可以自己实现一个简单的 HTTP 服务器，这个大家应该不陌生。说到 HTTP 服务器的话，作为 Java 后端开发，我们一般使用 Tomcat 比较多。一个最基本的 HTTP 服务器可要以处理常见的 HTTP Method 的请求， 比如 POST 请求、GET 请求等等。
   3、 实现一个即时通讯系统 ：使用 Netty 我们可以实现一个可以聊天类似微信的即时通讯系统，这方面的开源项目还蛮多的，可以自行去 Github 找一找。
   4、 实现消息推送系统 ：市面上有很多消息推送系统都是基于 Netty 来做的。

Netty 的优势

使用简单：封装了 NIO 的很多细节，使用更简单。
功能强大：预置了多种编解码功能，支持多种主流协议。
定制能力强：可以通过 ChannelHandler 对通信框架进行灵活地扩展。
性能高：通过与其他业界主流的 NIO 框架对比，Netty 的综合性能最优。
稳定：Netty 修复了已经发现的所有 NIO 的 bug，让开发人员可以专注于业务本身。
社区活跃：Netty 是活跃的开源项目，版本迭代周期短，bug 修复速度快。
1、Netty提供了比NIO更简单易用的API，我们可以利用这些封装好的API快速开发自己的网络通信程序。
2、Netty在NIO的基础上还做了很多优化，比如零拷贝机制、内存池管理等等，因此，总体运行性能会比原生的NIO更高。
3、Netty内置支持了多种通信协议，如HTTP、WebSocket等，并且针对数据通信的拆包、黏包问题，Netty还内置了解决方案。
1、Netty提供统一的 API，支持多种通信模型，如阻塞、非阻塞， 以及epoll、poll等模型。
2、Netty可以使用很少的代码实现Reactor多线程模型以及主从线程模型。
3、可以使用自带的编解码器解决 TCP 拆包/粘包问题。
4、Netty默认提供了多协议的通信支持。
5、Netty处理高吞吐量、低延迟、低资源消耗，比Java原生NIO的API更有优势。
6、经典的开源项目底层也使用到了Netty通信框架， 比如Zookeeper、Dubbo、RocketMQ等等，经历了大型项目的使用和考验更加成熟稳定。
7、Netty对安全性支持也不错，比如支持SSL/TLS等。

高性能的序列框架

Netty 默认提供了对 Google Protobuf 的支持，通过扩展 Netty 的编解码接口，用户可以实现其它的高性能序列化框架，例如 Thrift 的压缩二进制编解码框架

1. SO_RCVBUF 和 SO_SNDBUF：通常建议值为 128K 或者 256K小包封大包，防止网络阻塞
2. SO_TCPNODELAY：NAGLE 算法通过将缓冲区内的小封包自动相连，组成较大的封包，阻止大量小封包的发送阻塞网络，从而提高网络应用效率。但是对于时延敏感的应用场景需要关闭该优化算法软中断 Hash 值和 CPU 绑定
3. 软中断：开启 RPS 后可以实现软中断，提升网络吞吐量。RPS 根据数据包的源地址，目的地址以及目的和源端口，计算出一个 hash 值，然后根据这个 hash 值来选择软中断运行的 cpu，从上层来看，也就是说将每个连接和 cpu 绑定，并通过这个 hash 值，来均衡软中断在多个 cpu 上，提升网络并行处理性能

Netty 中用了哪些设计模式

Netty 在其设计和实现中使用了多种设计模式

1. Reactor 模式：Netty 使用 Reactor 模式来处理并发请求。它通过一个主线程监听输入事件，然后将请求分派给不同的处理器线程池进行处理，从而提高系统的并发能力。
2. 单例模式：Netty 中的一些核心组件，如 EventLoopGroup、ChannelPipeline，采用了单例模式来确保全局只有一个实例，以保持资源的共享和节省内存消耗。
3. 工厂模式：Netty 中使用了工厂模式来创建不同类型的对象，如 ChannelFactory 用于创建 Channel 对象，ByteBufAllocator 用于创建 ByteBuf 对象等。
4. 装饰者模式：Netty 的 ChannelHandler 使用了装饰者模式，通过链式调用的方式对请求进行处理和转换，可以动态地添加、删除或修改处理逻辑。
5. 观察者模式：Netty 中的事件通知机制使用了观察者模式。通过注册监听器（ChannelFutureListener），当事件发生时，触发相应的回调方法进行处理。
6. 策略模式：Netty 中的编解码器（Codec）使用了策略模式，通过定义不同的编解码策略来处理不同类型的数据。
7. 责任链模式：Netty 的 ChannelPipeline 使用了责任链模式，通过一系列的 ChannelHandler 组成的链表对请求进行处理和传递。
8. 模板方法模式：Netty 的 ChannelHandlerAdapter 中的方法使用了模板方法模式，通过定义一个抽象类并实现部分方法，子类只需实现特定的方法来完成业务逻辑。
   这些设计模式使得 Netty 的设计更加灵活、可扩展和易于维护，同时也符合面向对象的设计原则。通过合理地应用这些设计模式，Netty 提供了高性能、可靠的网络编程框架。

Netty高性能

1、NIO异步非阻塞通信
2、“零拷贝”
3、内存池ByteBuf
4、Netty提供了多种内存管理策略，通过在启动辅助类中配置相关参数，可以实现差异化的定制。
5、高效的Reactor线程模型：Reactor单线程(多线程、主从)模型，指的是所有的IO操作都在同⼀个NIO线程上完成
6、为了尽可能提升性能，Netty采用了串行无锁化设计，在IO线程内部进行串行操作，避免多线程竞争导致的性能下降。表面上看，串行化设计似乎CPU利用率不高，并发程度不够。但是，通过调整NIO线程池的线程参数，可以同时启动多个串⾏化的线程并行运行，这种局部无锁化的串行线程设计相比一个队列-多个工作线程模型性能更优。
7、高效的并发编程：Netty的高效并发编程主要体现在如下：

1. volatile的大量、正确使用;
2. CAS和原子类的广泛使用；
3. 线程安全容器的使用；
4. 通过读写锁提升并发性能。
   8、高效的序列化框架
   9、灵活的TCP参数配置能力：合理设置TCP参数在某些场景下对于性能的提升可以起到显著的效果，例如SO_RCVBUF和SO_SNDBUF。如果设置不当，对性能的影响是非常大的。

Netty有哪些序列化协议

Netty 支持多种序列化协议，其中常用的包括：

1. Java 序列化：Netty 原生支持 Java 自带的序列化方式，可以方便地将 Java 对象序列化为字节流进行网络传输。
2. JSON 协议：Netty 可以通过集成第三方库（如 Jackson、Gson）来支持 JSON 格式的序列化和反序列化，通常用于实现跨语言的数据交换。
3. Protobuf（Protocol Buffers）：Netty 对 Google 的 Protobuf 序列化协议提供了支持，Protobuf 是一种轻量高效的二进制序列化协议，可以生成不同语言的代码，适合跨语言通信。
4. Msgpack：Netty 也支持 Msgpack 序列化协议，Msgpack 是一种高效的二进制序列化格式，比 JSON 更快速并且更紧凑。
5. Thrift：Netty 可以集成 Apache Thrift 序列化框架，Thrift 支持多种语言，并且具有自描述性，适合构建分布式系统。
6. Avro：Netty 也可以支持 Apache Avro 序列化框架，Avro 是一种快速、紧凑的二进制数据序列化协议，适用于大规模数据处理。
   以上是 Netty 常用的序列化协议，开发者可以根据实际需求选择适合的序列化方式来实现网络通信中的数据序列化和反序列化操作。每种序列化协议都有其适用场景和特点，可以根据具体情况选择最合适的序列化方式。

Netty内存池

内存池（基于内存池的缓冲区重用机制）
随着 JVM 虚拟机和 JIT 即时编译技术的发展，对象的分配和回收是个非常轻量级的工作。但是对于缓冲区 Buffer，情况却稍有不同，特别是对于堆外直接内存的分配和回收，是一件耗时的操作。为了尽量重用缓冲区，Netty 提供了基于内存池的缓冲区重用机制
Netty的内存管理是如何实现的
Netty的内存管理采用了ByteBuf对象池的方式，以提高内存分配和释放的效率，并减少
Netty的Buffer为什么好用
Netty 的 ByteBuf（Buffer）相比于传统的 Java NIO ByteBuffer 更加灵活和易用，主要有以下几个优点：

1. 内存管理：Netty 的 ByteBuf 实现了内存池，可以更好地管理内存，避免频繁地创建和销毁内存空间，提高了性能。
2. 更多的操作方法：Netty 的 ByteBuf 提供了更多的操作方法，使得对数据的读写操作更加方便和高效。
3. 链式调用：Netty 的 ByteBuf 支持链式调用，可以连续调用多个方法，简化了代码编写，提高了可读性。
4. 零拷贝：Netty 的 ByteBuf 支持零拷贝技术，可以在数据传输过程中减少不必要的数据拷贝，提高了性能。
   总的来说，Netty 的 ByteBuf 在性能、灵活性和易用性上都优于传统的 Java NIO ByteBuffer，因此被广泛应用于网络编程中。

Netty零拷贝原理

Netty的零拷贝（Zero Copy）机制是指在数据传输过程中，避免了数据从用户空间到内核空间的复制，从而提高了数据传输的效率和性能。
1.零拷贝（DIRECT BUFFERS 使用堆外直接内存）
使用堆外内存,也叫直接内存。Netty的接收和发送都采用DIRECT BUFFERS，对应系统底层的mmap机制，直接使用堆外内存进行Socket读写，不需要进行字节缓冲区的二次拷贝。
2. 提供了组合Buffer对象，可以聚合多个ByteBuffer对象，用户只需要像操作一个Buffer一样方便的对组合Buffer进行操作，避免了传统通过内存拷贝的方式将几个小Buffer合并成一个大的Buffer，不需要做内存拷贝。
3.Netty的文件传输采用了transferTo方法，它可以直接将文件缓冲区的数据发送到目标Channel，避免了传统通过循环 write 方式导致的内存拷贝问题
Netty的零拷贝技术通过减少数据在内存之间的多次拷贝，提高了网络数据传输的效率和性能，特别是在高并发场景下，这种优化可以显著减少CPU和内存的消耗
Netty的零拷贝技术通过减少数据在内存之间的多次拷贝，提高了网络数据传输的效率和性能，特别是在高并发场景下，这种优化可以显著减少CPU和内存的消耗

Netty的无锁化设计

1. 线程模型：Netty 使用了基于事件驱动的异步非阻塞的线程模型，通过少量的线程处理大量的并发连接。每个连接都会被注册到一个 EventLoop 中，EventLoop 负责监听和处理该连接的 IO 事件，避免了传统阻塞式模型中为每个连接创建一个线程的开销。
2. 零拷贝：Netty 使用了零拷贝技术（Zero-copy）来优化数据传输过程中的内存拷贝操作。当数据需要从网络传输到应用层时，Netty 可以直接将数据从网络缓冲区复制到应用层的内存，而不需要经过中间的用户空间。这样可以减少数据的复制次数，提高数据传输的效率。
3. 内存池：Netty 使用了内存池（Memory Pool）来管理内存的分配和释放。通过预分配一块较大的内存空间，并按需划分为小块内存进行分配，避免了频繁地进行内存分配和释放操作，减少了内存碎片的产生，提高了内存的利用率和系统性能。
4. 原子操作：Netty 在关键的数据结构和共享变量的访问上使用了原子操作，避免了多线程并发访问时的竞争和数据不一致问题。例如，使用 AtomicLong 来实现计数器，确保线程安全的增减操作。
5. 无锁数据结构：Netty 在一些关键的数据结构上使用了无锁的设计，如 ConcurrentMap、ConcurrentLinkedQueue 等。这些数据结构采用了 CAS（Compare and Swap）等原子操作来实现并发访问控制，避免了使用锁带来的线程竞争和等待开销。
   通过这些无锁化的设计，Netty 在高并发场景下能够更好地利用计算资源，提高系统的吞吐量和性能，降低锁带来的开销和竞争问题，使得网络编程更加高效和可靠。

Netty 中解决 TCP 粘包问题

Netty的粘包问题可以通过DelimiterBasedFrameDecoder、LineBasedFrameDecoder和LengthFieldBasedFrameDecoder等解码器来解决。这些解码器可以根据特定的分隔符、行结束符或消息长度等将接收到的数据拆分成一个个完整的消息。另外，也可以使用自定义的解码器来处理粘包问题。

1. 使用 Netty 自带的解码器
   1.1 LineBasedFrameDecoder : 发送端发送数据包的时候，每个数据包之间以换行符作为分
   隔，LineBasedFrameDecoder 的工作原理是它依次遍历 ByteBuf 中的可读字节，判断
   是否有换行符，然后进行相应的截取
   1.2 DelimiterBasedFrameDecoder : 可以自定义分隔符解码器，
   LineBasedFrameDecoder 实际上是一种特殊的 DelimiterBasedFrameDecoder 解码器。
   1.3 FixedLengthFrameDecoder: 固定长度解码器，它能够按照指定的长度对消息进行相应 的拆包。LengthFieldBasedFrameDecoder：
2. 自定义序列化编解码器
   在 Java 中自带的有实现 Serializable 接口来实现序列化，但由于它性能、安全性等原因 一般情况下是不会被使用到的。 通常情况下，我们使用 Protostuff、Hessian2、json 序列方式比较多，另外还有一些序 列化性能非常好的序列化方式也是很好的选择：
   专门针对 Java 语言的：Kryo，FST 等等
   跨语言的：Protostuff（基于 protobuf 发展而来），ProtoBuf，Thrift，Avro，
   MsgPack 等等

Netty 中心跳机制

在 TCP 保持长连接的过程中，可能会出现断网等网络异常出现，异常发生的时候， client
与 server 之间如果没有交互的话，他们是无法发现对方已经掉线的。为了解决这个问题, 我们
就需要引入心跳机制 。 心跳机制的工作原理是: 在 client 与 server 之间在一定时间内没有数据交互时, 即处于 idle 状态时, 客户端或服务器就会发送一个特殊的数据包给对方, 当接收方收到这个数据报文后, 也立即发送一个特殊的数据报文, 回应发送方, 此即一个 PING-PONG 交互。所以, 当某一 端收到心跳消息后, 就知道了对方仍然在线, 这就确保 TCP 连接的有效性
TCP 实际上自带的就有长连接选项，本身是也有心跳包机制，也就是 TCP 的选项：
SO_KEEPALIVE。但是，TCP 协议层面的长连接灵活性不够。所以，一般情况下我们都是在应
用层协议上实现自定义信跳机制的，也就是在 Netty 层面通过编码实现。通过 Netty 实现心
跳机制的话，核心类是 IdleStateHandler 。

Netty 和 Tomcat 的区别

作用不同：Tomcat 是 Servlet 容器，可以视为 Web 服务器，而 Netty 是异步事件驱动 的网络应用程序框架和工具用于简化网络编程，例如 TCP 和 UDP 套接字服务器。
协议不同：Tomcat 是基于 http 协议的 Web 服务器，而 Netty 能通过编程自定义各种 协议，因为 Netty 本身自己能编码/解码字节流，所有 Netty 可以实现，HTTP 服务器、 FTP 服务器、UDP 服务器、RPC 服务器、WebSocket 服务器、Redis 的 Proxy 服务器、MySQL 的 Proxy 服务器等等。

Netty 发送消息有几种方式

Netty 有两种发送消息的方式
直接写入 Channel 中，消息从 ChannelPipeline 当中尾部开始移动；
写入和 ChannelHandler 绑定的 ChannelHandlerContext 中，消息从 ChannelPipeline
中的下一个 ChannelHandler 中移动。