大厂Offer收割机:Netty优雅的网络写设计之连坏4问(1),腾讯数据分析笔试面试

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024b (备注Java)
img

正文

  • 业务线程池执行业务逻辑后,是如何通过IO线程将数据写入到网络中的呢?

  • Netty中如何针对写限流

1、写事件概述


写事件,顾名思义,就是将数据写入网络,通过网络传输给接收端,通常我们知道业务都会在专属的业务线程池中执行,那数据是如何通过IO线程写入网络中的呢?

在这里插入图片描述

正如上图中的线程模型,业务线程池是如何将数据通过IO线程写入网络中的呢?

接下来我们将带着问题,尝试看Netty是如何封装NIO的写事件。

2、写事件处理流程分析


在Netty中,写事件的处理入口为NioEventLoop的processSelectedKey方法:

在这里插入图片描述

根据调用链,最终调用AbstractChannel的内部类AbstractUnsafe的flush0方法。

AbstractUnsafe#flush0

该方法有三个实现要点:

  • 获取写缓存队列,如果写缓存队列为空,则跳过本次写事件。每一个通道独享一个写缓存队列,写事件触发执行的动作就是要将写缓存中的数据写入到网络中。

  • 如果通道处于未激活状态,需要清理写缓存区

  • 通过调用doWrite方法将写缓存中的数据写入网络通道中。

接下来将详细介绍上述关键步骤。

2.1 NIO写事件的优雅封装

首先,我们将写缓存区当成一个黑盒,先重点看一下doWrite方法的实现,窥探一下Netty是如何基于NIO来处理网络写入的。

在这里插入图片描述

Step1:如果写缓存区中没有可写的数据,取消注册写事件。我们来看一下取消写事件的经典实现技巧:

在这里插入图片描述

首先判断一下注册键是否有效,然后通过为位运算,取消写事件。

思考题:问题来了,取消写事件,从系统层面就无法继续触发写操作了,那后续如何触发写事件呢?

在这里插入图片描述

写事件的处理要考虑如下几个问题:

  • 本次写缓存区中数据是否写完?

  • 如果底层网络Socket缓存区积压,导致写缓冲区未写完如何处理?

  • 如果网络缓存区数据特别大又如何处理?

Netty给出的解决方案如下:

  • 通过底层NIO的SocketChannel的write方法将数据写入到Socket缓存区,如果返回值为0,表示Socket缓冲区已满,需要暂停写入,具体做法,注册写事件,等待下次继续写入。

  • 如果写缓存区的数据全部处理完毕,可取消注册写事件,避免毫无意义的写事件就绪。

  • 如果写缓存区中数据很大,为了避免单个通道对其他通道的影响,默认设置单次写事件最多调用底层NIO SocketChannel的write方法次数,默认为16。

写事件的核心处理要点就介绍到这里了。

2.2 通道写缓冲区详解

在Netty中调用通道的write方法并不会立即将数据写入到底层网络Socket中,而是写入到“写缓存区”,为应用级别的缓存区,即ChannelOutboundBuffer,这是Netty实现写操作最重要的一个数据结构

2.2.1 类图

ChannelOutboundBuffer 的核心类图如下:

在这里插入图片描述

核心属性与方法简介:

  • FastThreadLocal<ByteBuffer[]> NIO_BUFFERS

可以看出是线程本地变量ThreadLocal的优化版本,存储一个一个ByteBuffer数组。

  • Channel channel

该写缓存区所属的通道,每一个Channel独享一个写缓冲区。

  • Entry flushedEntry

表示第一个被刷新的Entry,在写入时,从该Entry开始写。

  • Entry unflushedEntry

在链表中第一个未刷新的节点(未刷新链表中第一个节点)。

  • Entry tailEntry

在链表中尾部的节点。

  • int flushed

待写入的entry个数,这个数据代表在执行一次真正的flush(flush0),将会有多少个entry中的内容会被写入到通道。

接下来我们按照写事件对待写入缓存区方法调用的顺序来讲解一下该方法的核心实现逻辑。

2.2.2 size方法详解

public int size() {

return flushed;

最后

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

技术提升。**

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-dmr51g0J-1713696698613)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 19
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值