你所不知的Tomcat网络通信的玄机

超越不平凡

已于 2024-03-01 15:07:30 修改

阅读量1.2k

点赞数 32

分类专栏： Tomcat 文章标签： tomcat java Tomcat网络通信 EndPoint

于 2024-03-01 09:00:00 首次发布

本文链接：https://blog.csdn.net/qq_39209927/article/details/136364490

版权

Tomcat 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

前文介绍了 Tomcat 架构和一键启动，再来看下 Tomcat 的整体架构流程图

今天带你来探索一下 Tomcat 网络通信部分是如何实现高并发的。

一、Tomcat 网络通信概览

Endpoint 是通信端点，即通信监听的接口，是具体的 Socket 接收和发送处理器，是对传输层的抽象，因此 Endpoint 是用来实现 TCP/IP 协议的。

Endpoint 是一个接口，对应的抽象实现类是 AbstractEndpoint，而 AbstractEndpoint 的具体子类，比如 NioEndpoint 和 Nio2Endpoint 中，具体的类图如下：

本文将分别介绍NioEndpoint、Nio2Endpoint以及 AprEndpoint 是如何工作的，在介绍之前需要先了解下网络通信 I/O 模型。

二、I/O 模型

所谓的 I/O 就是计算机内存与外部设备之间拷贝数据的过程。我们知道 CPU 访问内存的速度远远高于外部设备，因此 CPU 先把外部设备的数据读取到内存，然后再进行处理。请考虑这个场景，当你的程序通过 CPU 向外部设备发出一个读指令时，数据从外部设备拷贝到内存往往需要一段时间，这个时候 CPU 没事干了，你的程序是主动把 CPU 让给别人？还是让 CPU 不停的查：数据到了吗？数据到了吗.......

这就是 I/O 模型要解决的问题，比如网络数据读取这个场景，会涉及两个对象，一个是调用这个 I/O 操作的用户线程，另外一个就是操作系统内核。一个进程的地址空间分为用户空间和内核空间，用户线程不能直接访问内核空间。

当用户发起 I/O 操作后，网络数据读取会经历两个步骤：

用户线程等待内核将数据从网卡拷贝到内核空间。
内核将数据从内核空间拷贝到用户空间。

2.1 同步阻塞 I/O

用户线程发起 read 调用后就阻塞了，让出CPU，内核等待网卡数据到来，把数据从网卡拷贝到内核空间，再把用户线程唤醒。

2.2 同步非阻塞 I/O

用户线程不断的发起 read 调用，数据没到内核空间时，每次都返回失败，直到数据到了内核空间，这一次 read 调用后，在等待数据从内核空间拷贝到用户空间这段时间里，线程还是阻塞的，等数据到了用户空间在把线程唤醒。

2.3 I/O 多路复用

用户线程的读取操作分为两步，线程先发起 select 调用，目的是问内核数据准备好了吗？等内核把数据准备了，用户线程在发起 read 调用。在等待数据从内核空间拷贝到用户空间这段时间里，线程还是阻塞的。那为什么叫 I/O 多路复用呢？因为一次 select 调用可以向内核查多个数据通道(channel)的状态，所以叫多路复用。

2.4 异步 I/O

用户线程发起 read 调用的同时注册一个回调函数，read 立即返回，等内核将数据准备好以后，再调用指定的回调函数完成处理。在这个过程中，用户线程一直没阻塞。

三、EndPoint组件分析

3.1 NioEndPoint

Tomcat 的 NioEndpoint 组件实现了 I/O 多路复用模型，总体工作流程如下

创建一个 Selector，在它身上注册各种感兴趣的事件，然后调用 select 方法，等待感兴趣的事件发生。
感兴趣的事件发生了，比如可以读了，这时便创建一个新的线程从 Channel 中读取数据。

Tomcat 的 NIOEndpoint 虽然实现比较复杂，但基本原理就是上面的两步。来看看他有哪些组件，包含 LimitLatch、Acceptor、Poller、SocketProcessor 和 Executor 共5个组件，工作流程如图。

LimitLatch 是连接控制器，它负责控制最大连接数，Nio 模式下默认是10000，达到这个阈值后，连接请求被拒绝。请注意到达最大连接数后操作系统底层还是会接收客户端连接，但用户层已不再接收。

Acceptor 泡在一个单独的线程里，它在一个死循环里调用 accept 方法来接收新连接，一旦有新的请求连接到来，accept 方法返回一个 Channel 对象，接着把 Channel 对象交给 Poller 处理。

Poller 的本质是一个 Selector，也跑在单独线程里。Poller 在内部维护一个 Channel 数组，他在一个死循环里不断检测 Channel 的数据就绪状态，一旦有 Channel 可读，就生成一个 SocketProcessor 任务扔给 Executor 去处理。

Executor 就是线程池，负责运行 SocketProcessor 任务类，SocketProcessor 的 run 方法会调用 Http11Processor 来读取和解析请求数据。我们知道，Http11Processor 是应用层协议的封装，它会调用容器获得响应，再把响应通过 Channel 写出。

3.2 Nio2Endpoint

Java 提供了 BIO、NIO 和 NIO.2 这些 API 来实现这些 I/O 模型。BIO 是我们最熟悉的同步阻塞，NIO 是同步非阻塞，那 NIO.2 又是什么呢？NIO 已经足够好了，为什么还要 NIO.2 呢？

NIO 和 NIO.2 最大的区别，一个是同步一个是异步。异步最大的特点是应用程序不需要自己去触发数据从内核空间到用户空间的拷贝。

为什么是应用程序去触发数据的拷贝，而不是直接从内核拷贝数据呢？这是因为应用程序是不能直接访问内核空间的，因此数据拷贝肯定是由内核来做，关键是谁来触发这个动作。

是内核主动将数据拷贝到用户空间并通知应用程序。还是等待应用程序通过 Seclector 来查询，当数据就绪后，应用程序在发起一个 read 调用，这时内核再把数据从内核空间拷贝到用户空间。

需要注意的是，数据从内核空间拷贝到用户空间这段时间，应用程序还是阻塞的。所以你会看到异步的效率高于同步，因为异步模式下应用程序始终不会被阻塞。

首先应用程序在调用 read API 的同时告诉内核两件事：数据准备好了以后拷贝到哪个Buffer，以及调用哪个回调函数去处理这些数据。

然后，内核接到这个 read 指令后，等待网卡数据到达，数据到了后，产生硬件中断，内核在中断程序里把数据从网卡拷贝到内核空间，接着做 TCP/IP 协议层面的数据解包和重组，再把数据拷贝到应用程序指定的 Buffer，最后调用应用程序指定的回调函数。在来看下异步I/O 的流程图：

可以看到，异步 I/O 中，应用程序什么也不用管，内核则忙前忙后，但很大限度的提高了 I/O 的通信效率。

Nio2EndPoint 流程图如下

总体的工作流程与 NioEndPoint 相似，明显的不同点是 Nio2EndPoint 没有 Poller组件，也就是没有 Selector。因为在异步 I/O 模式下，Selector 的工作交给了内核去做。

3.1 AprEndPoint

APR（Apache Portable Runtime Libraries）是 Apache 可移植运行时库，它是用 C 语言实现的，其目的是向上层应用程序提供一个跨平台的操作系统接口库。Tomcat 可以用它来处理包括文件和网络 I/O，从而提升性能。跟 NioEndpoint 一样，AprEndpoint 也实现了非阻塞 I/O，它们的区别是：NioEndpoint 通过调用 Java 的 NIO API 来实现非阻塞 I/O，而 AprEndpoint 是通过 JNI 调用 APR 本地库而实现非阻塞 I/O 的。

同样是非阻塞 I/O, 为什么 Tomcat 会提示使用 APR 本地库的性能会更好呢？除了 APR 本身是 C 程序库之外，还有哪些提速的秘密呢？主要有两方面的原因。

JVM堆与本地内存

Java 的类实例一般都是在堆上分配的，而 Java 是通过 JNI 调用 C 代码来实现 Socket 通信的，那么 C 代码在运行过程中需要的内存是从哪分配的呢？先来看看JVM和用户进程的关系。

操作系统会创建一个进程来执行 Java 可执行程序，而每个进程都有自己的虚拟地址空间，JVM 用到的内存(包括堆、栈、方法区)就是从进程的虚拟地址空间上分配的。请注意，JVM 内存只是进程空间的一部分，除此之外，进程空间还有代码段、数据段、内存映射区、内核空间等。从 JVM 的角度看，JVM 内存之外的部分叫做本地内存，C 程序代码在运行过程中用到的内存就是本地内存中分配的。

Tomcat 的 Endpoint 组件在接收网路数据时需要预先分配好一块 Buffer，所谓的 Buffer 就是字节数组 byte[]，Java 通过 JNI 调用把这块 Buffer 的地址传给 C 代码，C 代码通过操作系统API 读取 Socket 并把数据填充到这块 Buffer。Java NIO API 提供了两种 Buffer 来接收数据：HeapByteBuffer 和 DirectByteBuffer，下面代码是如何创建两种Buffer，最终这块Buffer会通过JNI调用传递给C程序。

//分配HeapByteBuffer
ByteBuffer buf = ByteBuffer.allocate(1024);

//分配DirectByteBuffer
ByteBuffer buf = ByteBuffer.allocateDirect(1024);

那 HeapByteBuffer 和 DirectByteBuffer 有什么区别呢？HeapByteBuffer 对象本身在堆上分配，并且它持有的字节数组 byte[] 也是在堆上分配。但是如果用 HeapByteBuffer 来接收网络数据，需要把数据从内核先拷贝到一个临时的本地内存，再从临时本地内存拷贝到 JVM 堆上。

如果使用 HeapByteBuffer，你会发现 JVM堆和内核之间多了一层中转，而DirectByteBuffer用来解决这个问题，DirectByteBuffer 对象本身在 JVM 堆上，但是它持有的字节数组不是从 JVM 堆上分配的，而是从本地内存分配的。DirectByteBuffer 对象中有个 Long 类型字段address，记录着本地内存地址，这样在接收数据的时候直接把这个本地内存地址传给 C 程序，C 程序会将网络数据从内核拷贝到这个本地内存，这种方式比 HeapByteBuffer 少了一次拷贝，因此一般来说它的速度比 HeapByteBuffer 快好几倍。

Tomcat 中的 AprEndpoint 就是通过 DirectByteBuffer 来接收数据的，而 NioEndpoint 和 Nio2Endpoint 是通过 HeapByteBuffer 来接收数据的。