小工匠

在存在NAT或VPN的网络架构中，通过Proxy Protocol获取客户端真实IP的能力受限于网络设备的位置。若NAT/VPN位于客户端与Nginx之间（如企业VPN或家庭路由），Proxy Protocol仅能传递经过NAT转换或VPN隧道出口的IP（如公网IP或VPN分配地址），无法穿透获取终端设备的内网真实IP。若需突破此限制，可采取混合方案：客户端主动上报IP（需改造客户端代码）并配合网络设备改造（如VPN网关记录原始IP、专用隧道协议）。但需注意隐私合规风险，避免采集敏感信息。

在实际项目中，Netty作为高性能的异步NIO通信框架，承担着各种协议的接入、解析和调度等任务，例如在RPC和分布式服务框架中，Netty常常被用作内部私有协议的基础通信框架。因此，在应用进程优雅退出时，Netty作为通信框架也需要进行优雅退出，以保证系统的稳定性和可靠性。优雅退出时，需要尽快释放NIO线程和句柄等底层资源，以确保资源的及时回收和释放，避免资源泄漏和性能问题。如果使用flush进行批量消息发送，需要确保将发送队列中积压的待发送消息发送完成，避免数据丢失和通信中断。

在Linux上通过方式强制终止进程的副作用，这种方式虽然简单高效，但也会带来一些问题，特别是对于应用软件而言。这些问题包括但不限于：数据丢失：由于缓存中的数据尚未持久化到磁盘中，强制终止进程可能导致数据丢失，尤其是对于数据库等需要持久化数据的应用。文件损坏：如果进程正在进行文件写操作，但尚未完成，突然退出可能导致文件损坏，进而影响数据完整性。请求丢失：如果线程的消息队列中有未处理的请求消息，强制终止进程可能导致请求消息丢失，进而影响系统的正常运行。

在使用Netty进行服务端程序开发时，初学者可能会遇到各种问题，其中之一就是服务端意外退出的问题。这种问题可能会出现在程序启动后，没有发生任何异常的情况下，突然退出。导致这种情况发生的原因可能是代码中存在一些隐含的问题。接下来我们通过一个案例来演示一下这个问题。

我们创建了一个NIO的EventLoopGroup，使用NioSocketChannel作为客户端的Channel类型，设置了TCP连接的保持活动选项，并初始化ChannelPipeline。EventLoopGroup是一组处理I/O操作的线程池，通常包含一个用于处理连接的boss线程池和一个用于处理I/O事件的worker线程池。此时，客户端会尝试连接到指定的远程服务器，并返回一个ChannelFuture对象，用于异步等待连接的建立。事件时，会执行相应的处理逻辑。

对于每个 Channel，取消其在旧 Selector 上的注册，然后重新在新的 Selector 上注册，并保持感兴趣的事件不变。但是，在某些情况下，由于操作系统或者底层网络实现的限制，Selector可能会出现空轮询的情况，即Selector不断地被唤醒，但没有任何就绪的事件，这会导致CPU资源的浪费。在Netty中，通过使用基于事件驱动的模型，避免了空轮询的问题。在早期版本的JDK中，Java NIO的实现对于空轮询问题没有进行有效的处理，导致在高并发、高负载的网络应用中，会造成CPU资源的浪费。

ByteBuf 扩容机制是指在写入数据时，如果当前容量不足以容纳新增的数据，则需要进行动态扩容，以适应数据量的增长。容量检查在写入数据之前，会先检查当前可写入的容量是否足够。这通常是通过比较写索引和容量之间的关系来实现的。如果当前可写入容量不足，就需要进行扩容操作。内存分配当需要扩容时，会分配一个更大的内存空间来存储数据。这个内存空间的大小通常由扩容策略决定，可以是固定大小的增量，也可以是根据某种规则动态计算的。数据迁移在分配更大的内存空间后，原有的数据需要从旧的内存空间复制到新的内存空间中。

ByteBuf 内存池是 Netty 中用于管理 ByteBuf 对象的一种机制，旨在提高内存的使用效率和性能。

Netty 的零拷贝技术是通过优化数据传输过程中的数据复制操作，以降低系统的开销和提高性能。Netty 利用 Java NIO 中的 ByteBuffer.allocateDirect() 方法来分配直接内存，直接内存的特点是可以直接被操作系统所管理，不受 Java 堆内存大小的限制，而且可以直接与操作系统进行数据交互，避免了数据在 Java 堆内存和操作系统之间的拷贝。

在Java中，数据通常存储在堆内存中。Java里用可以分配一块直接内存(堆外内存)，元空间对应的内存也叫作直接内存，它们对应的都是机器的物理内存。但是，在某些情况下，直接操作系统的本地内存（off-heap memory）可能更有利，特别是对于需要进行大量I/O操作的应用程序，比如网络应用程序。Netty是一个用于构建高性能网络应用程序的框架，它提供了对直接内存的支持，以便更有效地处理数据传输。直接内存的主要优势在于它的分配和释放不受Java堆内存管理的影响，因此可以避免堆内存的垃圾回收开销。

当有新的连接接入时，会触发ACCEPT事件，EventLoop会调用相关的ChannelHandler进行处理，如调用ChannelInitializer的initChannel方法，添加用户自定义的ChannelHandler到新的连接的ChannelPipeline中。接着，新的连接就可以接受和处理客户端的请求了。当一个连接被注册到某个 Worker 线程池的 EventLoop 中时，该 EventLoop 将负责处理这个连接的所有事件，包括读取数据、写入数据、处理网络事件等。

NioServerSocketChannel是Netty中用于处理TCP服务器端Socket的通道实现之一。它继承自AbstractNioMessageChannel，是基于Java NIO的ServerSocketChannel的封装

ServerBootstrap是Netty中用于创建服务器端应用程序的引导类。它的设计目的是提供一种简洁、灵活的方式来配置和启动服务器，并处理与客户端的连接。

这段代码是在使用Netty框架时常见的用法，用于创建两个不同的实例，一个用于处理连接请求（通常称为bossGroup），另一个用于处理连接后的数据流（通常称为workerGroup）。是Netty中用于处理NIO事件的的实现之一。在Netty中，事件循环（EventLoop）是Netty的核心，负责处理各种事件，比如接收连接、读取数据、写入数据等。其主要功能和构造函数参数的含义：第一个构造函数参数表示创建的EventLoop的数量。

Netty的是处理网络事件（如数据读取、数据写入、连接建立、连接关闭等）的核心组件。在Netty中，的生命周期与Channel初始化（Initialization）方法被调用，这通常发生在初始化时，表示一个新的被加入到中。注册（Registration）方法被调用，这表示Channel已经成功注册到它的EventLoop上。激活（Activation）方法被调用，表示Channel已经成功激活，可以开始接收和发送数据。读取数据（Read）方法被调用，这表示从Channel中读取到了数据。

自动重连是一个用于提高网络应用稳定性和可靠性的功能。当客户端与服务器之间的连接意外断开时，客户端可以自动尝试重新连接到服务器，以确保数据的正常传输。 自动重连是指在网络通信中，当客户端与服务器之间的连接由于某种原因断开时，客户端能够自动尝试重新建立连接的机制。这是一种用于提高网络应用稳定性和可靠性的功能。具体来说，当客户端检测到与服务器的连接中断时，它会自动发起新的连接尝试，以确保数据的正常传输。这对于处理网络不稳定性、临时断开或服务器重新启动等情况非常重要，可以减少用户干预，提升应用的用户体验

Netty 的心跳检测机制是一种用于保持网络连接活跃的机制，它通过定期发送和接收特定的消息（心跳包）来确保客户端和服务器之间的连接仍然有效。这种机制对于需要长时间保持连接的应用程序（如实时通信、监控、推送服务等）非常重要，因为它可以帮助检测连接是否因网络问题或客户端崩溃而断开。Netty 提供了心跳检测机制，用于检测连接是否仍然处于活动状态。在 TCP 连接中，如果连接断开了，服务端和客户端不会立即知道它已经断开。因此，通过发送心跳消息并等待对方的响应，可以检测连接是否仍然处于活动状态。

Netty Review - 借助SimpleTalkRoom初体验异步网络编程的魅力Netty Review - 优化Netty通信：如何应对粘包和拆包挑战中我们遗留了一个内容今天我们就通过自定义长度分包解码器来解决粘包拆包的问题一个用于编码的另一个用于解码的。/*** @author 小工匠* @description: 自定义协议*//*** 定义一次发送包体长度*//*** 一次发送包体内容*/return len;

Netty Review - 借助SimpleTalkRoom初体验异步网络编程的魅力粘包和拆包是在计算机网络通信中常见的问题，特别是在使用基于流的传输协议（如TCP）时。这两个问题涉及到数据在传输过程中的组织和解析。粘包（Packet Concatenation）：粘包指的是发送方发送的多个小数据包在接收方看来被组合成一个大的数据包。发送方连续发送的数据可能在网络中被合并成一个数据流，导致接收方无法准确分辨每个数据包的边界。使用特殊的分隔符标记数据包的边界，或者在数据包中包含长度信息。

总的来说，Protostuff是一个高效、简单、可扩展的Java序列化库，适用于多种场景，特别是对于大量数据和高性能要求的应用场景有较好的表现。总体而言，该工具类简化了protobuf的序列化和反序列化操作，并提供了Schema的缓存机制以提高性能。，一个用于接受连接（boss），另一个用于处理已接受连接的IO操作（worker）。库，这是一个Google protobuf的Java扩展库，提供了更简单、更灵活的API。的Netty通道入站处理器，主要用于处理通道读取事件和通道激活事件。

Netty是一个高性能、异步的网络应用程序框架，它提供了对TCP、UDP和文件传输的支持。在Netty中，数据的发送和接收都是以字节流的形式进行的，因此需要将对象转换为字节流（编码）以及将字节流转换回对象（解码）。

Netty是一个高性能的网络应用程序框架，它提供了丰富的功能，包括编解码器，这些编解码器用于在网络中发送和接收数据时进行数据的编码和解码。在Netty中，和功能是一个字符编码器，它将字符串（String）数据转换为字节数组（byte[]）。用途：在网络通信中，数据传输是以字节流的形式进行的，因此，当需要发送文本数据时，需要将字符串转换为字节。就是执行这种转换的组件。工作方式：它使用指定的字符集（如UTF-8）将字符串编码为字节。功能。

启动Server，启动多个Client。

Netty的ByteBuf是一个强大的字节容器，用于处理字节数据。它提供了比Java标准库中的ByteBuffer更灵活和高效的方式来操作字节数据。Netty的ByteBuf是一个字节容器，它提供了一种更灵活和高效的方式来操作字节数据。与ByteBuffer不同，ByteBuf具有可扩展的缓冲区，可以动态调整容量，而不需要创建新的缓冲区对象。

这个链的结构可以看作是一个双向链表，每个节点是一个处理器。内部代码实现的流程是从头（Head）到尾（Tail）的顺序，对于传入数据，或者从尾（Tail）到头（Head）的顺序，对于传出数据。首先，想象一下Channel就像是通道，它提供了一些操作方法，比如读（read）和写（write）。每个小工具被称为Handler，它们负责处理网络通信中的不同任务，比如数据的编码、解码和其他处理。可以是网络套接字，文件，或者任何可以进行I/O操作的实体。提供了异步的I/O操作，可以通过注册关注的事件来触发。

在ChannelPipeline中，Outbound数据会从Pipeline的末尾开始，逆序经过Pipeline中的每个ChannelHandler进行处理，直到到达Pipeline的起始位置。在ChannelPipeline中，Inbound数据会依次经过Pipeline中的每个ChannelHandler进行处理，直到到达Pipeline的末尾。在Netty中，Inbound和Outbound是两个重要的概念，用于描述数据在ChannelPipeline中的流动方向。演示之前，我们先附一下代码。

由于协议传输过程中，通常会有拆包、合并包的过程，一般的做法就是System.arrayCopy了，但是Netty通过ByteBuf.slice以及Unpooled.wrappedBuffer等方法拆分、合并Buffer无需拷贝数据。： Netty提供了CompositeByteBuf，它是一种特殊的ByteBuf，可以将多个ByteBuf组合成一个逻辑上的ByteBuf。： Netty的ByteBuf支持零拷贝的特性，这意味着在某些情况下，数据可以在不涉及实际数据复制的情况下传递给其他组件。

我们将看一下如何使用 Charsets 处理文本数据为给定的字符编码创建 Charset使用该 Charset 解码和编码文本数据。

在 Java NIO 中，连网操作与其他操作一样，依赖于通道（Channel）和缓冲区（Buffer）。通道是用于读取和写入数据的途径，而缓冲区则用于暂存数据。与传统的同步 I/O 不同，Java NIO 中的通道操作是非阻塞的，这意味着在发起 IO 请求后，进程可以继续执行其他任务，而不需要等待 IO 操作完成。当 IO 操作完成后，进程会收到通知，此时再进行相应的处理。

文件锁定初看起来可能让人迷惑。它似乎指的是防止程序或者用户访问特定文件。事实上，文件锁就像常规的 Java 对象锁 ― 它们是 劝告式的（advisory） 锁。它们不阻止任何形式的数据访问，相反，它们通过锁的共享和获取赖允许系统的不同部分相互协调。我们可以锁定整个文件或者文件的一部分。如果你获取一个排它锁，那么其他人就不能获得同一个文件或者文件的一部分上的锁。如果你获得一个共享锁，那么其他人可以获得同一个文件或者文件一部分上的共享锁，但是不能获得排它锁。文件锁定并不总是出于保护数据的目的。

分散/聚集 I/O 是使用多个而不是单个缓冲区来保存数据的读写方法。一个分散的读取就像一个常规通道读取，只不过它是将数据读到一个缓冲区数组中而不是读到单个缓冲区中。同样地，一个聚集写入是向缓冲区数组而不是向单个缓冲区写入数据。分散/聚集 I/O 对于将数据流划分为单独的部分很有用，这有助于实现复杂的数据格式。

到目前为止，我们已经使用缓冲区进行日常工作所需要掌握的大部分内容。例子没怎么超出标准的读/写过程种类，在原来的 I/O 中可以像在 NIO 中一样容易地实现这样的标准读写过程。这里我们将讨论使用缓冲区的一些更复杂的方面，比如缓冲区分配、包装和分片。我们还会讨论 NIO 带给 Java 平台的一些新功能。这里我们可以看到如何创建不同类型的缓冲区以达到不同的目的，如可保护数据不被修改的 只读 缓冲区，和直接映射到底层操作系统缓冲区的 直接 缓冲区。最后介绍如何在 NIO 中创建内存映射文件。

可以用三个值指定缓冲区在任意时刻的状态：positionlimitcapacity这三个变量一起可以跟踪缓冲区的状态和它所包含的数据。我们将详细分析每一个变量，还要介绍它们如何适应典型的读/写(输入/输出)进程。在这个例子中，我们假定要将数据从一个输入通道拷贝到一个输出通道。

通道 和 缓冲区 是 NIO 中的核心对象，几乎在每一个 I/O 操作中都要使用它们。通道是对原 I/O 包中的流的模拟。到任何目的地(或来自任何地方)的所有数据都必须通过一个 Channel 对象。一个 Buffer 实质上是一个容器对象。发送给一个通道的所有对象都必须首先放到缓冲区中；同样地，从通道中读取的任何数据都要读到缓冲区中。Buffer 是一个对象， 它包含一些要写入或者刚读出的数据。在 NIO 中加入 Buffer 对象，体现了新库与原 I/O 的一个重要区别。

poll同样会将所有的请求拷贝到内核态，和select一样，poll同样是一个阻塞函数，当一个或多个请求有数据的时候，也同样会进行置位，但是它置位的是结构体pollfd中的events或者revents置位，而不是对fd本身进行置位，所以在下一次使用的时候不需要再进行重新赋空值的操作。多线程BIO服务器虽然解决了单线程BIO无法处理并发的弱点，但是也带来一个问题：如果有大量的请求连接到我们的服务器上，但是却不发送消息，那么我们的服务器也会为这些不发送消息的请求创建一个单独的线程，那么如果连接数少还好，

我们知道可以在channel中装配ChannelHandler流水线处理器，那一个channel不可能只有一个channelHandler处理器，肯定是有很多的，既然是很多channelHandler在一个流水线工作，肯定是有顺序的。一般在Socket编程中，等待响应结果都是同步阻塞的，而Netty则不会造成阻塞，因为ChannelFuture是采取类似观察者模式的形式进行获取结果。在Netty中，Handler处理器是由我们定义的，上面讲过通过集成入站处理器或者出站处理器实现。则是具体处理请求的处理器。

另一方面：现在互联网系统讲究的都是高并发、分布式、微服务，各类消息满天飞（IM系统、消息推送系统就是其中的典型），Netty在这类架构里面的应用可谓是如鱼得水，如果你对当前的各种应用服务器不爽，那么完全可以基于Netty来实现自己的HTTP服务器、FTP服务器、UDP服务器、RPC服务器、WebSocket服务器、Redis的Proxy服务器、MySQL的Proxy服务器等等。的实例，一个负责接收客户端的连接，另一个负责处理消息I/O，这里为了简单展示流程，让一个实例把这两方面的活都干了；

Netty 是一个广受欢迎的异步事件驱动的Java开源网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。基于 Netty 4.1 展开介绍相关理论模型，使用场景，基本组件、整体架构。@Override。

介绍完服务器如何基于 I/O 模型管理连接，获取输入数据，下面将介绍基于进程/线程模型，服务器如何处理请求。值得说明的是，具体选择线程还是进程，更多是与平台及编程语言相关。例如 C 语言使用线程和进程都可以(例如 Nginx 使用进程，Memcached 使用线程)，Java 语言一般使用线程(例如 Netty)，为了描述方便，下面都使用线程来进行描述。

从上图中我们可以看出，越往后，阻塞越少，理论上效率也是最优。这五种 I/O 模型中，前四种属于同步 I/O，因为其中真正的 I/O 操作(recvfrom)将阻塞进程/线程，只有异步 I/O 模型才与 POSIX 定义的异步 I/O 相匹配。