浅议Flink中TaskManager的内存模型

本文将初步探讨Flink作业中TaskManager（TM）的内存作用和使用情况，旨在了解TM的内存管理。

一、TaskManager中线程/进程概念

TaskManager是一个JVM进程，每个slot上运行的SubTask均为一个线程。

以下是一个简单的WordCount作业示例：

public class WordCount {
  public static void main(String[] args) throws Exception {
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    DataStream<String> source = env.addSource(new UserDefinedSource()).setParallelism(2);  
                     
    DataStream<Tuple2<String, Integer> > wcStream
                                = source.flatMap(
                                                  new FlatMapFunction<String, Tuple2<String, Integer>>() {
                                                      @Override
                                                      public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
                                                          String[] words = value.split(",");
                                                          for (String word : words) {
                                                              out.collect(new Tuple2<>(word, 1));
                                                          }
                                                      }
                                                  }).setParallelism(2)
                                   .keyBy(value -> value.f0)
                                   .sum(1).setParallelism(2)
                                   ;
     wcStream.print().setParallelism(1);
    env.execute("Streaming WordCount");
  }
}

经过算子链（Operator Chain）优化后，执行图中有3个task和5个subtask。

假设每个TaskManager有3个slot，通过Flink底层的不同task共享slot优化，上述WordCount案例仅需要1个TaskManager。

二、TaskManager各部分内存的作用及大小

在Yarn上运行Flink SQL作业时，通过设置"taskmanager.memory.process.size"来分配给TM的总内存。

从Flink 1.10开始，TM的内存配置如下

假设对上述WordCount作业，我们给TM分配了4G内存，各部分内存大小如下所示：  

由上表可知，可以根据需要调整内存的默认大小或比例。

例如，如果Flink作业中未使用RocksDB，可以调小托管内存的比例"taskmanager.memory.managed.fraction"或绝对大小"taskmanager.memory.managed.size"，以增大为用户代码分配的内存"taskmanager.memory.task.heap.size"。

 三、参考

配置参数

内存调整指南

Flink TaskManager 内存管理机制介绍与调优