浅议Flink中TaskManager的内存模型

本文将初步探讨Flink作业中TaskManager(TM)的内存作用和使用情况,旨在了解TM的内存管理。

一、TaskManager中线程/进程概念

TaskManager是一个JVM进程,每个slot上运行的SubTask均为一个线程。

以下是一个简单的WordCount作业示例:

public class WordCount {
  public static void main(String[] args) throws Exception {
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    DataStream<String> source = env.addSource(new UserDefinedSource()).setParallelism(2);  
                     
    DataStream<Tuple2<String, Integer> > wcStream
                                = source.flatMap(
                                                  new FlatMapFunction<String, Tuple2<String, Integer>>() {
                                                      @Override
                                                      public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
                                                          String[] words = value.split(",");
                                                          for (String word : words) {
                                                              out.collect(new Tuple2<>(word, 1));
                                                          }
                                                      }
                                                  }).setParallelism(2)
                                   .keyBy(value -> value.f0)
                                   .sum(1).setParallelism(2)
                                   ;
     wcStream.print().setParallelism(1);
    env.execute("Streaming WordCount");
  }
}

经过算子链(Operator Chain)优化后,执行图中有3个task和5个subtask。

假设每个TaskManager有3个slot,通过Flink底层的不同task共享slot优化,上述WordCount案例仅需要1个TaskManager。

二、TaskManager各部分内存的作用及大小

在Yarn上运行Flink SQL作业时,通过设置"taskmanager.memory.process.size"来分配给TM的总内存。

从Flink 1.10开始,TM的内存配置如下

假设对上述WordCount作业,我们给TM分配了4G内存,各部分内存大小如下所示:  

由上表可知,可以根据需要调整内存的默认大小或比例。

例如,如果Flink作业中未使用RocksDB,可以调小托管内存的比例"taskmanager.memory.managed.fraction"或绝对大小"taskmanager.memory.managed.size",以增大为用户代码分配的内存"taskmanager.memory.task.heap.size"。

 三、参考

配置参数

内存调整指南

Flink TaskManager 内存管理机制介绍与调优

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值