TaskManager 源码阅读

在阅读之前肯定要先理解TaskManager的作用才能更好的阅读源码
统一管理该物理节点上的所有Flink jod的task的运行,它的功能包括了task的启动销毁,内存管理,磁盘I/O,网络传输管理等

组件:
1.MemoryManager
统一管理了flink的内存使用,内存被划分为相同大小的segment,通过申请不同数量的segment来分配不同大小的内存
2种内存:on-head(预分区) off-head(按需分区)

2.MemorySegment
MemoryManager 以 segment 为单位来实现内存的分配和管理,在
flink 中⼀个 segment 被抽象为 MemorySegment

3.MemoryPool
MemoryPool 是 MemoryManager ⽤来统⼀管理资源的组件,具体⼜分为
HeapMemoryPool 和 HybridOffHeapMemoryPool,前者管理堆内存,后者管理⾮堆内存

4.IOManager
flink 通过 IOManager 来控制磁盘 IO 的过程,提供同步和异步两种写模式【其实只
有异步】,具体的读写⽅式⼜分为 block、buffer、bulk 三种⽅式;⽤户可以指定
IO 的⽂件⽬录集合,IOManager 会以 round-robin 的⽅式写不同⽬录的不同⽂件

5.NetworkEnvironment
NetworkEnvironment 是每个 Instance 的⽹络 IO 组件,包含了追踪中间结果和数据
交换的数据结构。它的构造器会统⼀将配置的内存先分配出来,抽象成
NetworkBufferPool 统⼀管理内存的申请和释放。

源码:
我们从分析TaskManager的封装类TaskManagerRunner开始

构造方法
在这里插入图片描述
在TaskManagerRunnerTest执行测试方法得到TaskManagerRunner的值如图:
在这里插入图片描述
非常重要的图
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值