从 BIO、NIO 到 Netty【前置知识点】

最新推荐文章于 2023-03-13 18:08:52 发布
最新推荐文章于 2023-03-13 18:08:52 发布
阅读量379 收藏 2
点赞数 2
分类专栏： 👊 从零开始设计一个轻量级的分布式 RPC 框架 文章标签： 网络 netty IO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41133986/article/details/111470645
版权

💡 关于 I/O 模型、同步/异步、阻塞/非阻塞等的相关详细解释，大家可以去看 👉 本仓库中 Java基础 部分的 【底层：Linux 五种 I/O 模型详解】

1. BIO

① 传统的阻塞式通信流程

早期的 Java 网络相关的 API(java.net包) 使用 Socket(套接字)进行网络通信，不过只支持阻塞函数使用。

要通过互联网进行通信，至少需要一对套接字：

  1. 运行于服务器端的 Server Socket。
  2. 运行于客户机端的 Client Socket

Socket 网络通信过程简单来说分为下面 4 步：

  1. 建立服务端并且监听客户端请求
  2. 客户端请求，服务端和客户端建立连接
  3. 两端之间可以传递数据
  4. 关闭资源

对应到服务端和客户端的话，是下面这样的。

服务器端：

  1. 创建 ServerSocket 对象并且绑定地址（ip）和端口号(port)：server.bind(new InetSocketAddress(host, port))
  2. 通过 accept()方法监听客户端请求
  3. 连接建立后，通过输入流读取客户端发送的请求信息
  4. 通过输出流向客户端发送响应信息
  5. 关闭相关资源

客户端：

  1. 创建Socket 对象并且连接指定的服务器的地址（ip）和端口号(port)：socket.connect(inetSocketAddress)
  2. 连接建立后，通过输出流向服务器端发送请求信息
  3. 通过输入流获取服务器响应的信息
  4. 关闭相关资源

img

② 代码示例

下面通过 BIO 实现基于 TCP 的 Socket 实现：

Socket 客户端
import java.io.IOException;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.net.ServerSocket;
import java.net.Socket;

public class HelloClient {

    private Object send(Message message, String host, int port) {

        System.out.println("客户端: " + host + " 请求连接服务器端口: " + port);

        // 创建一个流套接字并将其连接到指定主机上的指定端口号
        try (Socket socket = new Socket(host, port)) {

            // 往输出流中写入数据
            ObjectOutputStream objectOutputStream = new ObjectOutputStream(socket.getOutputStream());
            objectOutputStream.writeObject(message);

            // 从输入流中读取服务器响应的数据
            ObjectInputStream objectInputStream = new ObjectInputStream(socket.getInputStream());
            return objectInputStream.readObject();

        } catch (IOException | ClassNotFoundException e) {
            System.out.println("occur exception: " + e);
        }
        return null;
    }

    public static void main(String[] args) {
        HelloClient helloClient = new HelloClient();
        Message message = (Message) helloClient.send(new Message("content from Client"), "127.0.0.1", 6666);
        System.out.println("client receive message: " + message.getContent());
    }
}
CopyErrorOK!

注意，其中 Message 是我们自定义的消息体：

import java.io.Serializable;

// 通信消息，序列化
public class Message implements Serializable {

    private String content;

    public Message() {
    }

    public Message(String content) {
        this.content = content;
    }

    public String getContent() {
        return content;
    }

    public void setContent(String content) {
        this.content = content;
    }
}CopyErrorOK!
Socket 服务端
public class HelloServer {

    public void start(int port) {
        // 1.创建 ServerSocket 对象并且绑定一个端口
        try (ServerSocket server = new ServerSocket(port);) {
            Socket socket;
            // 2.通过 accept()方法监听客户端请求
            System.out.println("正在监听客户端请求......");
            while ((socket = server.accept()) != null) {
                System.out.println("客户端 " + socket.getRemoteSocketAddress() + " 连接成功!");
                // 3. 打开 Socket 的输入流和输出流
                try (ObjectInputStream objectInputStream = new ObjectInputStream(socket.getInputStream());
                     ObjectOutputStream objectOutputStream = new ObjectOutputStream(socket.getOutputStream())) {

                    // 4.通过输入流读取客户端发送的请求信息
                    Message message = (Message) objectInputStream.readObject();
                    System.out.println("Server receive message: " + message.getContent());

                    // 5.通过输出流向客户端发送响应信息
                    message.setContent("new content from Server");
                    objectOutputStream.writeObject(message);
                    objectOutputStream.flush();
                } catch (IOException | ClassNotFoundException e) {
                    System.out.println("occur exception: " + e);
                }
            }
        } catch (IOException e) {
            System.out.println("occur IOException: " + e);
        }
    }

    public static void main(String[] args) {
        HelloServer helloServer = new HelloServer();
        helloServer.start(6666);
    }
}CopyErrorOK!
运行测试

首先运行服务端，然后再运行客户端，控制台输出如下：

img img
代码中存在的问题

ServerSocket 的 accept() 方法是阻塞方法，也就是说 ServerSocket 在调用 accept()等待客户端的连接请求时会阻塞，直到收到客户端发送的连接请求才会继续往下执行代码。

很明显，上面演示的代码片段有一个很严重的问题：只能同时处理一个客户端的连接，如果需要管理多个客户端的话，就需要为我们请求的客户端单独创建一个线程。 如下图所示：

img

对应的Java代码可能是下面这样的：

new Thread(() -> {
   // 创建 socket 连接
}).start();CopyErrorOK!

但是，这样会导致一个很严重的问题：资源浪费。

我们知道线程是很宝贵的资源，如果我们为每一次连接都用一个线程处理的话，就会导致可用线程越来越少，达到了极限之后，就无法再创建线程处理请求了。处理的不好的话，甚至可能直接就宕机掉了。

很多人就会问了：那有没有改进的方法呢？

当然有！ 比较简单并且实际的改进方法就是使用线程池。线程池还可以让线程的创建和回收成本相对较低，并且我们可以指定线程池的可创建线程的最大数量，这样就不会导致线程创建过多，机器资源被不合理消耗。

ThreadFactory threadFactory = Executors.defaultThreadFactory();
ExecutorService threadPool = new ThreadPoolExecutor(10, 100, 1, TimeUnit.MINUTES, new ArrayBlockingQueue<>(100), threadFactory);
threadPool.execute(() -> {
     // 创建 Socket 连接
 });CopyErrorOK!

但是，即使你再怎么优化和改变。也改变不了它的底层仍然是同步阻塞的 BIO 模型的事实，因此无法从根本上解决问题。

为了解决上述的问题，Java 1.4 中引入了 NIO ，一种同步非阻塞的 I/O 模型。

2. NIO

Netty 实际上就基于 Java NIO 技术封装完善之后得到一个高性能框架，熟悉 NIO 的基本概念对于学习和更好地理解 Netty 还是很有必要的！

① NIO 概述

NIO 是一种同步非阻塞的 I/O 模型，在 Java 1.4 中引入了 NIO 框架，对应 java.nio 包，提供了 Channel , Selector，Buffer等抽象。

NIO 中的 N 可以理解为 Non-blocking

NIO 支持面向缓冲(Buffer)的，基于通道(Channel)的 I/O 操作方法。

NIO 提供了与传统 BIO 模型中的 Socket 和 ServerSocket 相对应的 SocketChannel 和 ServerSocketChannel 两种不同的套接字通道实现,两种通道都支持阻塞和非阻塞两种模式：

  1. 阻塞模式 : 基本不会被使用到。使用起来就像传统的网络编程一样，比较简单，但是性能和可靠性都不好。对于低负载、低并发的应用程序，勉强可以用一下以提升开发速率和更好的维护性
  2. 非阻塞模式 ： 与阻塞模式正好相反，非阻塞模式对于高负载、高并发的（网络）应用来说非常友好，但是编程麻烦，这个是大部分人诟病的地方。所以， 也就导致了 Netty 的诞生。

② NIO 核心组件解读

NIO 包含下面几个核心的组件：

  • Channel
  • Buffer
  • Selector
  • Selection Key

这些组件之间的关系是怎么的呢？

  1. NIO 使用 Channel(通道)和 Buffer(缓冲区)传输数据，数据总是从缓冲区写入通道，并从通道读取到缓冲区。在面向流的 I/O 中，可以将数据直接写入或者将数据直接读到 Stream 对象中。在 NIO 库中，所有数据都是通过 Buffer(缓冲区)处理的。 Channel可以看作是 Netty 的网络操作抽象类，对应于 JDK 底层的 Socket

  2. NIO 利用 Selector（选择器）来监视多个通道的对象，如数据到达，连接打开等。因此，单线程可以监视多个通道中的数据。

  3. 当我们将 Channel注册到 Selector中的时候, 会返回一个 Selection Key 对象, Selection Key 则表示了一个特定的通道对象和一个特定的选择器对象之间的注册关系。通过 Selection Key 我们可以获取哪些 IO 事件已经就绪了，并且可以通过其获取 Channel并对其进行操作。

    Selector（选择器，也可以理解为多路复用器）是 NIO（非阻塞 IO）实现的关键。它使用了事件通知相关的 API 来实现选择已经就绪也就是能够进行 I/O 相关的操作的任务的能力。

简单来说，整个过程是这样的：

  1. 将 Channel注册到 Selector中。
  2. 调用 Selector 的 select() 方法，这个方法会阻塞；
  3. 到注册在 Selector中的某个 Channel有新的 TCP 连接或者可读写事件的话，这个 Channel就会处于就绪状态，会被 Selector轮询出来。
  4. 然后通过 SelectionKey 可以获取就绪 Channel 的集合，进行后续的 I/O 操作。

③ NIO 为啥更好

相比于传统的 BIO 模型来说， NIO 模型的最大改进是：

  1. 使用比较少的线程便可以管理多个客户端的连接，提高了并发量并且减少的资源消耗（减少了线程的上下文切换的开销）
  2. 在没有 I/O 操作相关的事情的时候，线程可以被安排在其他任务上面，以让线程资源得到充分利用。

④ 使用 NIO 编写代码太复杂

一个使用 NIO 编写的 Server 端如下，可以看出还是整体还是比较复杂的，并且代码读起来不是很直观，并且还可能由于 NIO 本身会存在 Bug。

很少使用 NIO，很大情况下也是因为使用 NIO 来创建正确并且安全的应用程序的开发成本和维护成本都比较大。所以，一般情况下我们都会使用 Netty 这个比较成熟的高性能框架来做（Apace Mina 与之类似，但是 Netty 使用的更多一点）。

3. Netty 介绍

由于使用同步非阻塞的 I/O 模型 NIO 来进行网络编程真的太麻烦，所以 Netty 应用而生

Netty 是一个提供 asynchronous event-driven （异步事件驱动）的网络应用框架，是一个用以快速开发高性能、可扩展协议的服务器和客户端。也就是说，Netty 是异步非阻塞的

换句话说，Netty 是一个 NIO 客户端服务器框架，使用它可以快速简单地开发网络应用程序，比如服务器和客户端的协议。Netty 大大简化了网络程序的开发过程比如 TCP 和 UDP 的 Socket 服务的开发。

“快速和简单”并不意味着应用程序会有难维护和性能低的问题，Netty 是一个精心设计的框架，它从许多协议的实现中吸收了很多的经验，支持 FTP、SMTP、HTTP、许多二进制和基于文本的传统协议。

因此，Netty 已经成功地找到一个方式,在不失灵活性的前提下来实现开发的简易性，高性能，稳定性。

4. Netty 特点

Netty作为一款优秀的网络框架，自然有令人折服的特点：

  • 设计：
    • 针对多种传输类型的同一接口。
    • 简单但更强大的线程模型。
    • 真正的无连接的数据报套接字支持。
    • 链接逻辑复用。
  • 性能： Netty 的高性能是它被广泛使用的一个重要的原因，我们可能都认为 Java 不太适合 编写游戏服务端程序，但 Netty 的到来无疑是消除了这种见解。
    • 较原生 Java API有更好的吞吐量，较低的延时。
    • 资源消耗更少(共享池和重用)。
    • 减少内存拷贝。
  • 健壮性： 原生 NIO 的客户端/服务端程序编写较为麻烦，如果某个地方处理的不好，可能会 导致一些意料之外的异常，如内存溢出，死循环等等，而 Netty 则为我们简化了原生 API 的使用，这使得我们编写出来的程序不那么容易出错。
  • 社区： Netty 快速发展的一个重要的原因就是它的社区非常活跃，这也使得采用它的开发者越来越多。很多开源项目都使用到了 Netty 比如我们经常接触的 Dubbo、RocketMQ 等等。

5. 使用 Netty 能做什么

理论上 NIO 可以做的事情 ，使用 Netty 都可以做并且更好。Netty 主要用来做网络通信 :

  1. 作为 RPC 框架的网络通信工具 ： 我们在分布式系统中，不同服务节点之间经常需要相互调用，这个时候就需要 RPC 框架了。不同服务指点的通信可以使用 Netty 来做。
  2. 实现一个自己的 HTTP 服务器 ：通过 Netty 我们可以自己实现一个简单的 HTTP 服务器。作为 Java 后端开发，我们一般使用 Tomcat 比较多。一个最基本的 HTTP 服务器可要以处理常见的 HTTP Method 的请求，比如 POST 请求、GET 请求等等。
  3. 实现一个即时通讯系统 ： 使用 Netty 我们可以实现一个可以聊天类似微信的即时通讯系统，这方面的开源项目还蛮多的，可以自行去 Github 找一找。
  4. 消息推送系统 ：市面上有很多消息推送系统都是基于 Netty 来做的。
  5. …

6. 哪些开源项目用到了 Netty

我们平常经常接触的 Dubbo、RocketMQ、Elasticsearch、gRPC 等等都用到了 Netty。

可以说大量的开源项目都用到了 Netty，所以掌握 Netty 有助于你更好的使用这些开源项目并且让你有能力对其进行二次开发。

实际上还有很多很多优秀的项目用到了 Netty,Netty 官方也做了统计，统计结果在这里：https://netty.io/wiki/related-projects.html

📚 References

飞天小牛肉
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Netty学习笔记 3.2 NIO和BIO比较及原理示意图
zyzy123321的博客
07-26 617
Netty学习笔记 3.2 NIO和BIO比较及原理示意图 NIO 和 BIO 的比较 BIO 以流的方式处理数据,而 NIO 以块的方式处理数据,块 I/O 的效率比流 I/O 高很多 BIO 是阻塞的，NIO 则是非阻塞的 BIO基于字节流和字符流进行操作，而 NIO 基于 **Channel(通道)和 Buffer(缓冲区)**进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。Selector(选择器)用于监听多个通道的事件（比如：连接请求，数据到达等），因此使用单个线程就可以监听多个
Socket 之 BIO、NIO、Netty 简单实现
01-16
在Java中，Socket通信涉及三种不同的模型：BIO（Blocking I/O）、NIO（Non-blocking I/O）和Netty，这些都是实现高并发、高性能网络服务的重要手段。 **1. Socket基础** Socket，通常被称为套接字，是网络通信的...
netty前置知识
xiaotai1234的博客
02-22 428
netty前置知识 一、BIO编程 二、NIO编程 1.概述 2.文件 IO 概述和核心API 案例 3.网络 IO 概述和核心API 入门案例 网络聊天案例 4. AIO编程 5. IO对比总结
Netty学习前置知识（一）
u013351117的博客
11-14 2207
文章目录前言Netty 介绍Netty 使用场景互联网行业游戏行业大数据领域Java IO模型IO模型BIO,NIO,AIO场景分析比较Java BIO 编程Java BIO介绍Java BIO工作机制BIO工作机制梳理Java BIO编程实例问题分析Java NIO 编程Java NIO介绍NIO 与 BIO比较NIO三大核心原理图NIO 的 Selector、Channel 和、Buffer 之间关系三大核心关系解读缓冲区Buffer基本介绍Buffer及其子类基本属性： capacity, limit
Netty前置知识
12-21 370
Netty 前置知识、马士兵教育笔记
从NIO到Netty，编程实战出租车905协议-08172347.pdf
06-11
第5章，介绍Netty相关基础知识，并使用Netty实现长连接服务端的编码。 适用人群 具有一定的Java开发基础； 学习Java开发领域Spring框架之外的东西； 想快速通过实战项目提升个人能力的同学。 想通过实战入门NIO、...
从NIO到NETTY简述.pptx（培训）
03-20
本篇文章将从OSI七层模型、TCP与UDP的异同点、BIO、NIO、AIO的简述以及Netty的基本使用等方面展开讨论。 首先，理解网络通信的基础——OSI七层模型是至关重要的。OSI模型是国际标准化组织提出的一种通信参考模型，...
nio、bio、netty的一些案例
01-19
本资源主要涵盖了三种不同的I/O模型：BIO（ Blocking I/O）、NIO（Non-blocking I/O）和Netty，这些都是Java平台上的重要网络编程技术。下面将详细介绍这些概念及其在实际应用中的案例。 首先，BIO（阻塞I/O）是最...
Java BIO、NIO、AIO、Netty知识详解（值得珍藏）
最新发布
01-11
Netty在BIO和NIO的基础上，通过其强大的API和设计模式，降低了开发复杂性，提高了性能。 在IO流的分类中，可以按单位大小分为字符流（处理字符数据，如文本）和字节流（处理所有类型的数据，如图片、音频等）。按...
初识Netty-前置知识
qq_44641527的博客
03-13 133
netty
netty入门前置知识-NIO
06-25 471
title: Netty入门-第一话 tags: Netty categories: Netty 入门 keywords: Netty description: 第一话对BIO和NIO进行了讲解，为后续做准备。 cover: ‘https://npm.elemecdn.com/lql_static@latest/logo/netty_logo.jpg’ abbrlink: 3f9283e7 date: 2021-04-08 14:21:58 因为学netty的过程中，发现计算机网络和操作系统蛮重.
2 深入理解Netty, 线程篇1, 前置知识reactor模型
weixin_39639119的博客
07-10 174
netty 是基于 java nio 上封装的框架，所以它的核心功能一定也是依赖 java nio的核心组件。因为原生java nio太原始，如果要在生产上使用，程序员要花大量的时间在非业务上的处理。如写半包，jdk select的空轮询等等。 netty 从 并行，池化，网络通信等方面帮助我们优化程序。并行可以让我们程序充分利用cpu，今天我们浅析一下netty的线程模型。 这篇文章我们先讲讲什么是 reactor模型： reactor反应堆的...
BIO，NIO，netty
qq_34093116的博客
05-19 159
今天来说说几种IO的进化史吧。 BIO： 问题： accept（）和read（）都是阻塞的，假想，客户端一进来了，在read方法阻塞，客户端二是连不进来的。第二种情况，客户端一连进来了，第一次发送消息完毕之后，第二次要重新从accept方法开始。 多线程版本： 解决了第一个客户端连进来了读的时候，其他客户端无法进来的问题，显然当客户端的数量增大的时候，线程的开销是吃不消的。 低配版的NIO： 使用一个list来储存客户端，并且将accept和read方法都设置为非阻塞。问题：虽然是单
BIO、NIO、Netty
IT_10的博客
03-27 408
IO与NIO IO NIO 面向流（Stream Oriented） 面向缓冲区（Buffer Oriented） 单线传输 双向传输 阻塞IO（Blocking IO） 非阻塞IO（Non Blocking IO） – 选择器（Selectors） 传统IO中，“流”就是一个用于数据传输的管道，是一个单向管道，即读取加载磁盘\网络数据时，需要建立一个输入流，将数据...
Netty(1) —— NIO、BIO
qq_40662405的博客
11-04 201
Netty学习前置知识(一) 学习 https://www.bilibili.com/video/BV1py4y1E7oA?p=122&spm_id_from=pageDriver 所做笔记 1.阻塞IO JDK 1.4 之前: bio 同步阻塞的IO JDK 1.4 之后: java.nio.xxx —> 解决阻塞问题 Non-Blocking 同步非阻塞的IO 在学习Nio之前我们需要回顾一下传统的阻塞IO，网络连接是怎么干的 客户端与
BIO，NIO 以及netty
qq_38412637的博客
01-24 318
BIO NIO AIO三者的技术实现以及之间的区别 bio 阻塞io处理 在程序开发里面，java最小的处理单元就是线程，也就是说每一个线程可以进行IO的处理，在处理之中 该线程无法进行其他任何操作， tcp程序实现 代码的核心，Echo程序模型，通过网络实现基础的echo操作，多线程是不可能无限制创造的，如果产生的线程过多，那么直接问题在于，处理性能降低，响应速度变慢，需要去区分操作系统的线...
BIO到NIO到Netty
凤凰涅槃
07-05 217
目标BIONIOAIONetty BIO 同步阻塞 NIO 同步非阻塞 AIO 异步非阻塞 Netty 异步非阻塞 参考文章： BIO-NIO-Netty
Java IO,BIO,NIO,netty详解
qq_40710276的博客
06-30 250
基本概念 Java网络IO的演化，从最开始JDK1.4之前是基于阻塞的IO；发展到1.4发布后的Nio提供了selector多路复用的机制以及channel和buffer，再到1.7的NIO升级提供了真正的异步api； 经常听人提起，同步阻塞服务器或者异步非阻塞服务器，网上有很多的文章针对这个概念作出了讲解，每个人理解的貌似都不太一样。最容易把异步和非阻塞搞混…我这里简单的说下自己的理解： 同步synchronous、异步asynchronous，他们的区别就是发起任务后，本身的一个状态——如果是一直等待结

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞天小牛肉

您的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值