2024年运维最新Netty框架学习之(一）：Netty框架简介_at io

1. 简介

官方定义为：”Netty 是一款异步的事件驱动的网络应用程序框架，支持快速地开发可维护的高性能的面向协议的服务器
和客户端”,按照惯例贴上一张High Level的架构图：

纵观Java系的多种服务器/大数据框架，都离不开Netty做出的贡献，本文对Netty做一个简单的概述

2. 主要特性

Netty有很多重要的特性，主要特性如下：

• 优雅的设计
• 统一的API接口，支持多种传输类型，例如OIO,NIO
• 简单而强大的线程模型
• 丰富的文档
• 卓越的性能
• 拥有比原生Java API 更高的性能与更低的延迟
• 基于池化和复用技术，使资源消耗更低
• 安全性
• 完整的SSL/TLS以及StartTLS支持
• 可用于受限环境，如Applet以及OSGI

Netty的以上特性，比较适合客户端数据较大的请求/处理场景，例如web服务器等，要想知道有哪些系统使用了Netty,可以参考：http://netty.io/wiki/adopters.html

3. 主要术语

在正式开始之前，先对Netty涉及到的一些术语做个简单的说明

3.1 IO模型：BIO/NIO/Netty

3.1.1 BIO(Blocking IO)：阻塞IO

早期的Java API(java.net)提供了由本地系统套接字库提供的所谓的阻塞函数，样例代码如下：

ServerSocket serverSocket = new ServerSocket(portNumber);
Socket clientSocket = serverSocket.accept();
BufferedReader in = new BufferedReader(new InputStreamReader(clientSocket.getInputStream()));
PrintWriter out =new PrintWriter(clientSocket.getOutputStream(), true);
String request, response;
while ((request = in.readLine()) != null) {
    if ("Done".equals(request)) {
        break;
}
response = processRequest(request);
out.println(response);
}

这段代码片段将只能同时处理一个连接，要管理多个并发客户端，需要为每个新的客户端
Socket 创建一个新的 Thread,线程模型如下图所示：

该种模型存在以下两个问题：

1. 在任何时候都可能有大量的线程处于休眠状态，只是等待输入或者输出数据就绪，这可能算是一种资源浪费
2. 需要为每个线程的调用栈都分配内存
3. 即使 Java 虚拟机（JVM） 在物理上可以支持非常大数量的线程， 但是远在到达该极限之前， 上下文切换所带来的开销就会带来麻烦

3.1.2 NIO(Non Blocking IO):非阻塞IO

Java的NIO特性在JDK 1.4中引入，其结构如下：

从该图可以看出Selector 是Java 的非阻塞 I/O 实现的关键。它使用了事件通知 API
以确定在一组非阻塞套接字中有哪些已经就绪能够进行 I/O 相关的操作。因为可以在任何的时间检查任意的读操作或者写操作的完成状态。该种模型下，一个单一的线程便可以处理多个并发的连接。
与BIO相比，该模型有以下特点：

1. 使用较少的线程便可以处理许多连接，因此也减少了内存管理和上下文切换所带来开销
2. 当没有 I/O 操作需要处理的时候，线程也可以被用于其他任务

虽然Java 的NIO在性能上比BIO已经相当的优秀，但是要做到如此正确和安全并
不容易。特别是，在高负载下可靠和高效地处理和调度 I/O 操作是一项繁琐而且容易出错的任务，此时就时Netty上场的时间了。

3.1.3 Netty

Netty对NIO的API进行了封装，通过以下手段让性能又得到了一定程度的提升

1. 使用多路复用技术，提高处理连接的并发性
2. 零拷贝：
3. Netty的接收和发送数据采用DIRECT BUFFERS，使用堆外直接内存进行Socket读写，不需要进行字节缓冲区的二次拷贝
4. Netty提供了组合Buffer对象，可以聚合多个ByteBuffer对象进行一次操作
5. Netty的文件传输采用了transferTo方法，它可以直接将文件缓冲区的数据发送到目标Channel，避免了传统通过循环write方式导致的内存拷贝问题
6. 内存池：为了减少堆外直接内存的分配和回收产生的资源损耗问题，Netty提供了基于内存池的缓冲区重用机制
7. 使用主从Reactor多线程模型，提高并发性
8. 采用了串行无锁化设计，在IO线程内部进行串行操作，避免多线程竞争导致的性能下降
9. 默认使用Protobuf的序列化框架
10. 灵活的TCP参数配置

详细说明，可参考： http://www.infoq.com/cn/articles/netty-high-performance#anch111813

3.1.4 简单的性能测试

通过在本地分别使用BIO,NIO,Netty NIO实现了一个简单的服务端程序（该程序接收到请求后，sleep 1毫秒，并返回简单的一句话）分别对三种方式使用Jemeter进行性能测试（一百个并发，每个并发发送一百个相同消息），结果如下：

单线程的java net:

NIO：

Netty NIO:

以上结果或是受到其他条件的影响，结果仅供供参考

3.2 Callback:

回调在广泛的编程场景中都有应用，一般是在完成某个特定的操作后对相关方法进行调用。

Netty 在内部使用回调来处理事件；当一个回调被触发时，相关的事件可以被一个 interfaceChannelHandler 的实现处理，例如Channel激活时会调用ChannelActive方法，样例代码如下：

public class ConnectHandler extends ChannelInboundHandlerAdapter {
@Override
**先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里**

**深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/ad1b5c3e7248137d9cb05b73f9195d78.png)
![img](https://img-blog.csdnimg.cn/img_convert/e91649391ab0c35081e899e5a6e1d589.png)
![img](https://img-blog.csdnimg.cn/img_convert/0ea7364f9778f0a4a7441ce86e28ae8a.png)
![img](https://img-blog.csdnimg.cn/img_convert/970756706483d8f2cdaad981e7b3b217.png)
![img](https://img-blog.csdnimg.cn/img_convert/ee691834663d5a4a3cf625e3fae09de2.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**

阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**