Java最新2024-09-16Netty干货分享：京东京麦的生产级TCP网关技术实践总结，java工厂模式面试

最新推荐文章于 2024-08-30 07:28:11 发布

2401_84557926

最新推荐文章于 2024-08-30 07:28:11 发布

阅读量324

点赞数 5

分类专栏：程序员文章标签： java 面试学习

本文链接：https://blog.csdn.net/2401_84557926/article/details/138689639

版权

程序员专栏收录该内容

130 篇文章

订阅专栏

线程、数据库、算法、JVM、分布式、微服务、框架、Spring相关知识

一线互联网P7面试集锦+各种大厂面试集锦

学习笔记以及面试真题解析

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2、本文作者

Netty干货分享：京东京麦的生产级TCP网关技术实践总结_author.jpeg 张松然：

- 京东商家研发部架构师；

- 丰富的构建高性能高可用大规模分布式系统的研发、架构经验；

- 2013年加入京东，目前负责京麦服务网关和京麦服务市场的系统研发工作。

3、TCP网关的网络结构

基于Netty构建京麦TCP网关的长连接容器，作为网关接入层提供服务API请求调用。

客户端通过域名+端口访问TCP网关，域名不同的运营商对应不同的VIP，VIP发布在LVS上，LVS将请求转发给后端的HAProxy，再由HAProxy把请求转发给后端的Netty的IP+Port。

LVS转发给后端的HAProxy，请求经过LVS，但是响应是HAProxy直接反馈给客户端的，这也就是LVS的DR模式。

Netty干货分享：京东京麦的生产级TCP网关技术实践总结_1.jpg

4、TCP网关长连接容器架构

TCP网关的核心组件是Netty，而Netty的NIO模型是Reactor反应堆模型（Reactor相当于有分发功能的多路复用器Selector）。每一个连接对应一个Channel（多路指多个Channel，复用指多个连接复用了一个线程或少量线程，在Netty指EventLoop），一个Channel对应唯一的ChannelPipeline，多个Handler串行的加入到Pipeline中，每个Handler关联唯一的ChannelHandlerContext。

TCP网关长连接容器的Handler就是放在Pipeline的中。我们知道TCP属于OSI的传输层，所以建立Session管理机制构建会话层来提供应用层服务，可以极大的降低系统复杂度。所以，每一个Channel对应一个Connection，一个Connection又对应一个Session，Session由Session Manager管理，Session与Connection是一一对应，Connection保存着ChannelHandlerContext（ChannelHanderContext可以找到Channel），Session通过心跳机制来保持Channel的Active状态。

每一次Session的会话请求（ChannelRead）都是通过Proxy代理机制调用Service层，数据请求完毕后通过写入ChannelHandlerConext再传送到Channel中。数据下行主动推送也是如此，通过Session Manager找到Active的Session，轮询写入Session中的ChannelHandlerContext，就可以实现广播或点对点的数据推送逻辑。如下图所示。

Netty干货分享：京东京麦的生产级TCP网关技术实践总结_2.jpg

京麦TCP网关使用Netty Channel进行数据通信，使用Protobuf进行序列化和反序列化，每个请求都将被封装成Byte二进制字节流，在整个生命周期中，Channel保持长连接，而不是每次调用都重新创建Channel，达到链接的复用。

我们接下来来看看基于Netty的具体技术实践。

5、TCP网关Netty Server的IO模型

具体的实现过程如下：

1）创建ServerBootstrap，设定BossGroup与WorkerGroup线程池；
2）bind指定的port，开始侦听和接受客户端链接（如果系统只有一个服务端port需要监听，则BossGroup线程组线程数设置为1）；
3）在ChannelPipeline注册childHandler，用来处理客户端链接中的请求帧。

6、TCP网关的线程模型

TCP网关使用Netty的线程池，共三组线程池，分别为BossGroup、WorkerGroup和ExecutorGroup。其中，BossGroup用于接收客户端的TCP连接，WorkerGroup用于处理I/O、执行系统Task和定时任务，ExecutorGroup用于处理网关业务加解密、限流、路由，及将请求转发给后端的抓取服务等业务操作。

Netty干货分享：京东京麦的生产级TCP网关技术实践总结_3.jpg

NioEventLoop是Netty的Reactor线程，其角色：

1）Boss Group：作为服务端Acceptor线程，用于accept客户端链接，并转发给WorkerGroup中的线程；
2）Worker Group：作为IO线程，负责IO的读写，从SocketChannel中读取报文或向SocketChannel写入报文；
3）Task Queue／Delay Task Queu：作为定时任务线程，执行定时任务，例如链路空闲检测和发送心跳消息等。

7、TCP网关执行时序图

Netty干货分享：京东京麦的生产级TCP网关技术实践总结_4.jpg

如上图所示，其中步骤一至步骤九是Netty服务端的创建时序，步骤十至步骤十三是TCP网关容器创建的时序。

**步骤一：**创建ServerBootstrap实例，ServerBootstrap是Netty服务端的启动辅助类。

**步骤二：**设置并绑定Reactor线程池，EventLoopGroup是Netty的Reactor线程池，EventLoop负责所有注册到本线程的Channel。

**步骤三：**设置并绑定服务器Channel，Netty Server需要创建NioServerSocketChannel对象。

**步骤四：**TCP链接建立时创建ChannelPipeline，ChannelPipeline本质上是一个负责和执行ChannelHandler的职责链。

**步骤五：**添加并设置ChannelHandler，ChannelHandler串行的加入ChannelPipeline中。

**步骤六：**绑定监听端口并启动服务端，将NioServerSocketChannel注册到Selector上。

**步骤七：**Selector轮训，由EventLoop负责调度和执行Selector轮询操作。

**步骤八：**执行网络请求事件通知，轮询准备就绪的Channel，由EventLoop执行ChannelPipeline。

**步骤九：**执行Netty系统和业务ChannelHandler，依次调度并执行ChannelPipeline的ChannelHandler。

**步骤十：**通过Proxy代理调用后端服务，ChannelRead事件后，通过发射调度后端Service。

**步骤十一：**创建Session，Session与Connection是相互依赖关系。

**步骤十二：**创建Connection，Connection保存ChannelHandlerContext。

**步骤十三：**添加SessionListener，SessionListener监听SessionCreate和SessionDestory等事件。

8、TCP网关源码分析

8.1Session管理

Session是客户端与服务端建立的一次会话链接，会话信息中保存着SessionId、连接创建时间、上次访问事件，以及Connection和SessionListener，在Connection中保存了Netty的ChannelHandlerContext上下文信息。Session会话信息会保存在SessionManager内存管理器中。