95-290-380-源码-内存管理-Buffer-NetworkBufferPool简介

最新推荐文章于 2024-01-21 20:18:24 发布
最新推荐文章于 2024-01-21 20:18:24 发布
阅读量643 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink NetworkBuffer Pool
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106607816
版权
大数据-flink 专栏收录该内容
839 篇文章 853 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了Flink内存管理中的NetworkBufferPool，它统一管理网络栈内存，通过BufferPoolFactory创建LocalBufferPool，并进行内存分配与回收。在销毁或调整BufferPool时，会进行内存的再分配。
摘要由CSDN通过智能技术生成

在这里插入图片描述

2.概述

有个报错和这个很相关：【Flink】Buffer pool is destroyed

2.1 概要前提

​ NetworkbufferPool 统一管理了网络栈的内存，LocalBufferPool 只是管理 Buffer 的方式，具体的申请和释放还是要走 NetworkBufferPool 的接口。值得注意的是，NetworkBufferPool 在实例化的时候就将初始的固定大小的内存分配出来了【不管是堆还是非堆】。

2.2 拓扑图

在这里插入图片描述

3.BufferPoolFactory

BufferPoolFacto

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
95-290-362-源码-内存管理-Buffer-LocalBufferPool
九师兄
06-27 637
2.概述 ​ NetworkEnvironment 是每个 Instance 的网络 IO 组件，包含了追踪中间结果和数据交换的数据结构。它的构造器会统一将配置的内存先分配出来，抽象成 NetworkBufferPool 统一管理内存的申请和释放。 2.1 拓扑图 2.2 . BufferPool ​ 从 MemoryManager 的介绍中我们讲到 flink 是以 MemorySegment 为单位来管理内存的，而一个 MemorySegment 又被叫做一个 Buffer。BufferPool 是.
聊聊flink的NetworkBufferPool
weixin_34293059的博客
02-25 439
序 本文主要研究一下flink的NetworkBufferPool BufferPoolFactory flink-release-1.7.2/flink-runtime/src/main/java/org/apache/flink/runtime/io/network/buffer/BufferPoolFactory.java publ...
95-290-340-源码-内存管理-Buffer-ByteBuffer简介
九师兄
06-27 491
2.概述 2.1 概要前提 ​ NetworkEnvironment 是每个 Instance 的网络 IO 组件，包含了追踪中间结果和数据交换的数据结构。它的构造器会统一将配置的内存先分配出来，抽象成 NetworkBufferPool 统一管理内存的申请和释放。 2.2 拓扑图 ...
95-290-360-源码-内存管理-Buffer-ByteBufferPool简介
九师兄
06-27 648
2.概述 2.1 概要前提 ​ NetworkEnvironment 是每个 Instance 的网络 IO 组件，包含了追踪中间结果和数据交换的数据结构。它的构造器会统一将配置的内存先分配出来，抽象成 NetworkBufferPool 统一管理内存的申请和释放。 2.2 拓扑图 3. BufferPool ​ 从 MemoryManager 的介绍中我们讲到 flink 是以 MemorySegment 为单位来管理内存的，而一个 MemorySegment 又被叫做一个 Buffer。Buffer.
95-290-382-源码-内存管理-Buffer-Flink运行时之统一的数据交换对象
九师兄
06-27 532
2.统一的数据交换对象 ​ 在Flink的执行引擎中，流动的元素主要有两种：缓冲（Buffer）和事件（Event）。Buffer主要针对用户数据交换，而Event则用于一些特殊的控制标识。但在实现时，为了在通信层统一数据交换，Flink提供了数据交换对象——BufferOrEvent。它是一个既可以表示Buffer又可以表示Event的类。上层使用者只需调用isBuffer和isEvent方法即可判断当前收到的这条数据是Buffer还是Event。 3.缓冲 ​ 缓冲（Buffer）是数据交换的载体，几.
Flink内存管理： 网络传输内存network buffer及堆内存管理
peidezhi的专栏
11-18 3238
1 Flink背压原理 任务A写, 任务B读， 2者都是先申请 local buffer pool, 满了之后再向network buffer pool申请。 消费下游： local buffer pool和network buffer pool满了之后，发送消息给上游（ResultSubparittion)，上有不在发送消息，下游的 input channel将不会接受到新的数...
flink网络缓冲池
不说话装高手
12-18 1171
Flink的网络缓冲池NetworkBufferPool。 构造方法需要两个参数，申请的MemorySegment个数和单个MemorySegment的大小，两者乘积是整个内存缓冲池的总容量。 内部存储结构是一个队列，未分配的MemorySegment存储在队列当中，当被分配时会从内存中取出。 try { this.availableMemorySegments = new Arra...
Flink中的数据抽象&交换&Credit&背压问题详解
微信搜：import_bigdata，大数据领域硬核原创作者
04-04 498
全网最全大数据面试提升手册！一、数据流转——Flink的数据抽象及数据交换过程本部分讲一下flink底层是如何定义和在操作符之间传递数据的。其中，第一个构造函数的checkBufferAndGetAddress()方法能够得到direct buffer的内存地址，因此可以操作堆外内存。1.2 ByteBuffer与NetworkBufferPoolpublicabstractclassAbs...
flink内存管理（三）：MemorySegment内存使用场景：托管内存与网络内存
最新发布
hiliang521的博客
01-21 1816
flink内存管理（三）：MemorySegment内存使用场景：托管内存与网络内存的使用
flink的内存管理
weixin_45626756的博客
01-04 2672
背景 之前我们介绍了flink中task的运行机制，以及数据在task线程内部以及不同TaskManager之间的流转过程。其中，网络传输Buffer数据以及task接收Buffer数据都会申请对应的Segment内存段，其中涉及堆内和堆外内存。这里我们从NetworkBuffer资源管理、flink的内存模型和MemorySegment具体分析一下flink中的内存管理机制。 NetworkBuffer资源管理 之前我们介绍了flink中网络传输数据是通过NetworkBuffer的数据结构作为字节容器，
Flink运行时之统一的数据交换对象
VinoYang的专栏
12-20 7538
统一的数据交换对象在Flink的执行引擎中，流动的元素主要有两种：缓冲（Buffer）和事件（Event）。Buffer主要针对用户数据交换，而Event则用于一些特殊的控制标识。但在实现时，为了在通信层统一数据交换，Flink提供了数据交换对象——BufferOrEvent。它是一个既可以表示Buffer又可以表示Event的类。
缓冲池(buffer pool)
feng_201的博客
06-21 2173
应用系统分层架构，为了加速数据访问，会把最常访问的数据，放在缓存(cache)里，避免每次都去访问数据库。 操作系统，会有缓冲池(buffer pool)机制，避免每次访问磁盘，以加速数据的访问。 MySQL作为一个存储系统，同样具有缓冲池(buffer pool)机制，以避免每次查询数据都进行磁盘IO。 今天，和大家聊一聊InnoDB的缓冲池。 InnoDB的...
uCOS-II操作系统初始化与源码解析
它的主要功能包括任务管理、中断处理、内存管理、信号量、事件标志组、消息队列等。在了解源码之前，我们需要知道uCOS-II的基本结构和工作原理。 从给出的文件内容来看，我们首先关注的是主函数`main()`，它是整个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值