Netty源码分析专题[1]-服务端启动流程

Netty源码分析专题[1]-服务端启动流程

  Netty是一个高性能底层网络传输层技术,深入研究其底层实现原理不仅可以领略其优秀的架构思想,还能为用好这个技术打下坚实的基础,正所谓知其然知其所以然,本文使用的netty版本是4.1.52,其中池化内存部分的源码的变动很大,这个版本的代码在内存回收到缓存的时候有个bug,当然新版本已经修复,具体的可以看池化内存源码分析相关的内容

  从本文开始,会有一系列的Netty源码分析相关的分析

1、从Java NIO模型说起

  Java NIO类库好像是JDK1.4版本开始引入的,本文只关注网络通信部分,相比于普通的Socket通信,其提供了非阻塞的通信方式,并且封装了操作系统底层复杂的网络实现,对外只提供一个简单的多路复用器(Selector),使用Selector编写网络通信的编程模型如下:
在这里插入图片描述

  整体来说并不是很复杂,但是其实这种简单实现会有个问题,就是单个Selector的压力过大,既要处理连接,又要处理IO读写,假设读数据很慢,那么势必会积压很多的连接,因为这个模型有这样或者那样的问题,且网络传输这种底层技术大家使用的情况都差不多,所以就有一群大神创造了Netty,采用Reactor编程模型提升网络的并发处理能力

2、Netty基本概念

  基本上服务端代码的固定格式就是下面的样子


EventLoopGroup bossGroup = new NioEventLoopGroup(1);
        NioEventLoopGroup workerGroup = new NioEventLoopGroup();

        try {

            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup,workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childOption(ChannelOption.TCP_NODELAY,true)
                    .childAttr(AttributeKey.valueOf("childAttr"),"childAttrValue")
                    .handler(new SeverHandler())
                    .childHandler(new ChannelInitializer<SocketChannel>(){
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {

                        }
                    });
            ChannelFuture f = b.bind(8888).sync();
            f.channel().closeFuture().sync();
        }finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }

  从代码中可以归纳出以下几个重要的变量:

  • 1)、parentGroup:服务端SocketChannel线程组,用于接受客户端连接
  • 2)、childGroup:客户端SocketChannel管理线程组,负责管理客户端连接,服务端接收到连接后就会交给workerGroup的某个线程
  • 3)、ServerBootstrap:服务端启动类,负责初始化工作和整体的管理
  • 4)、DefaultChannelPipeline:业务逻辑处理链,负责实际的业务逻辑处理,责任链模式

  接下来会分别介绍这几个部分,可以用网络上的一张图来描述上面的流程

在这里插入图片描述

2-1 NioEventLoop

  图中最明显的就是把接收客户端连接和处理IO事件分开,核心干活的类就是NioEventLoop,这个类有一个run方法,且核心逻辑确实在run方法中,但是这个类没有继承线程相关的接口,所以不是一个线程,但是实际的作用等同于一个线程,所以本文会将其和线程化作等号,NioEventLoop的内部基本机构如下:
在这里插入图片描述

  每个NioEventLoop都会属于一个NioEventLoopGroup,也就是最开始代码段中定义的parentGroup和childGroup,初始化的时候都是通过初始化NioEventLoopGroup间接得到NioEventLoop,每个NioEventLoopGroup其实就是一个线程组,如果构造的时候不指定线程组中线程的数量【也就是NioEventLoop的数量】,默认个数就是2×Cpu核数

  从类成员中可以看出NioEventLoop是一个线程也是一个Selector,所以后续所有的操作都是由run方法执行,前面说过了,其实NioEventLoop并不是一个线程,其内部的run方法是由其父类的SingleThreadEventExecutor在首次调用时创建出新线程,再由新线程内部调用该类的run方法执行,其启动流程及其入口如下:
在这里插入图片描述

  线程启动之后会直接调用NioEventLoop的run方法,run方法是个死循环,意味着后续的核心业务逻辑都由其完成,run方法的执行流程如下:
在这里插入图片描述

  看了Netty的源码之后我才知道原来Jdk的Selector有空轮训的bug,就是Selector返回但是没有任何IO事件发生,Netty采用了技术的方式得以解决,具体描述都在图里

2-2 DefaultChannelPipeline

  DefaultChannelPipeline是一个默认的业务逻辑处理链,Netty通过PipeLine使得程序员只需要关注顶层业务逻辑而不用关注底层网络的具体实现,每个连接都有一个DefaultChannelPipeline,Netty的连接通道并不是直接使用Java原生的SeverScoketChannel和SocketChannel,而是自己对其进行了扩展和包装,叫NioServerScoketChannel和NioScketChannel,分别对应服务端和客户端,DefaultChannelPipeline就是它们的成员变量,在将连接注册到NioEventLoop的Selector时,会将对应的NioXXXchannel作为附加变量注册才SelectionKey,后续该连接有IO事件时,可以通过附加信息将实际Netty封装的NioXXXChannel取出进行后续操作

  DefaultChannelPipeline默认情况下都会创建两个节点,头部和尾部 【可以避免链表操作的判空等操作,Netty内部采用了很多这种操作,比如内存管理的PoolSubPage管理器头寸节点数组】,处理链的每个节点都属于InbondHandler或者OutBoundHandler或者两种都有,InbondHandler负责处理IO事件【比如连接已经读取到Buf、连接注册完成、读取完成、连接激活,InbondHandler的传播是从链表头部开始】,OutbondHandler负责处理IO操作【比如读取数据,OutbondHandler的传播是从链表尾部部开始】

  举个栗子说明一下,请看以下代码

ServerBootstrap b = newServerBootstrap();
b.group(bossGroup,workerGroup)
    .channel(NioServerSocketChannel.class)        
    .childOption(ChannelOption.TCP_NODELAY,true)        
    .childAttr(AttributeKey.valueOf("childAttr"),"childAttrValue")        
    .handler(new SeverHandler()) 
    .childHandler(new ChannelInitializer<SocketChannel>()
                  {            
                      @Override            
                      protected void initChannel(SocketChannel socketChannel) throws Exception {
                          
                      }        
                  }
                 );

  关注一下上面.handler(new SeverHandler()) 这句代码就是需要添加到服务端Channel内部PipeLine的节点,.childHandler()就是是加到客户端Channel内部PipeLine的节点,假设此时服务端和客户端都有好几个连接,需要在Hadler的实现类上加上Sharable注解,否则会报错

  上面添加Hadler的代码我相信使用过Netty的人都很熟悉,这里要说下ChannelInitializer,这个类在Channel没有注册完成之前,其本身也是PipelLine的一个节点,但是这个类主要作用就是添加其他的Handler到Channel的PipeLine【是个工具人】,其内部实现了HandlerAdded方法,HandlerAdded方法会调用该类的InitChannel模板方法将Hadler加到该Channel对应的Pipeline【实际情况是做啥都可以】,这个方法在每个Channel注册完成后会调用,在InitChannel方法执行之后,它会把自己从PipeLine中删除

  说了这么多,是时候该展示以下如果以上代码执行完毕之后,PipeLine的结构

2-2-1 NioServerSoketChannel(服务端channel)的PipeLine

  直接上图
在这里插入图片描述
  除了自定义的Hadler,默认会添加一个ServerBootstrapAcceptor,新接收到的连接左后都是由其进行处理,包括注册到工作线程组的某个Selector

2-2-2 NioSoketChannel(客户端channel)的PipeLine

  也直接上图
在这里插入图片描述

  自定义的Handler在服务端PipeLine的ServerBootstrapAcceptor中被添加

2-3 ServerBootStrap

  这个类是启动的主类,这个类构造完成后基本既可以开始工作了,这里画个启动的时序图,虽然有点拉,凑合也能看看

2-3-1 主流程时序

  主流程时序图如下【图片编号:image-20211227162633866.png】:
在这里插入图片描述

  里面基本都是异步调用,包括注册和绑定端口,这些动作做完之后,服务端才能开始接收连接,这些任务会被封装成Task交给NIoEventLoop执行,我们只关心具体的业务逻辑

2-3-2 注册服务端网络Channel到Selector【图片编号:image-20211227162945911.png】在这里插入图片描述
2-3-3 绑定网络地址【图片编号:image-20211227163102015.png】

在这里插入图片描述

2-3-4 激活服务端channel

  绑定好端口和地址之后,说明可以正式提供服务,所以需要发送一个active信号,告知别人,同时也正式开始接收客户端连接,激活信号流转流程如下【图片编号:image-20211227163327235.png】:
在这里插入图片描述

2-3-5 接收客户端连接

  有新连接接入后的主要时序图如下【图片编号:image-20211227163444846.png】,入口还是服务端Channel对应的NioEventLoop的run方法【木得办法,死循环,出不去】
在这里插入图片描述

3、图片地址

服务端的主要流程就这些,图片的gitee地址:https://gitee.com/source-code-note/graph/tree/master/netty

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
FastThreadLocal 是 Netty 中的一个优化版 ThreadLocal 实现。与 JDK 自带的 ThreadLocal 相比,FastThreadLocal 在性能上有所提升。 FastThreadLocal 的性能优势主要体现在以下几个方面: 1. 线程安全性:FastThreadLocal 使用了一种高效的方式来保证线程安全,避免了使用锁的开销,使得在高并发场景下性能更好。 2. 内存占用:FastThreadLocal 的内部数据结构更加紧凑,占用的内存更少,减少了对堆内存的占用,提高了内存的利用效率。 3. 访问速度:FastThreadLocal 在访问时,使用了直接索引的方式,避免了哈希表查找的开销,使得访问速度更快。 在 Netty 源码中,FastThreadLocal 主要被用于优化线程的局部变量存储,提高线程之间的数据隔离性和访问效率。通过使用 FastThreadLocal,Netty 在高性能的网络通信中能够更好地管理线程的局部变量,提供更高的性能和并发能力。 引用中提到的代码片段展示了 Netty 中的 InternalThreadLocalMap 的获取方式。如果当前线程是 FastThreadLocalThread 类型的线程,那么就直接调用 fastGet 方法来获取 InternalThreadLocalMap 实例;否则,调用 slowGet 方法来获取。 fastGet 方法中,会先尝试获取线程的 threadLocalMap 属性,如果不存在则创建一个新的 InternalThreadLocalMap,并设置为线程的 threadLocalMap 属性。最后返回获取到的 threadLocalMap。 slowGet 方法中,通过调用 UnpaddedInternalThreadLocalMap.slowThreadLocalMap 的 get 方法来获取 InternalThreadLocalMap 实例。如果获取到的实例为 null,则创建一个新的 InternalThreadLocalMap,并将其设置到 slowThreadLocalMap 中。最后返回获取到的 InternalThreadLocalMap。 综上所述,FastThreadLocal 是 Netty 中为了优化线程局部变量存储而设计的一种高性能的 ThreadLocal 实现。它通过减少锁的开销、优化内存占用和加快访问速度来提升性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [FastThreadLocal源码分析](https://blog.csdn.net/lvlei19911108/article/details/118021402)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Netty 高性能之道 FastThreadLocal 源码分析(快且安全)](https://blog.csdn.net/weixin_33871366/article/details/94653953)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值