本文将初步探讨Flink作业中TaskManager(TM)的内存作用和使用情况,旨在了解TM的内存管理。
一、TaskManager中线程/进程概念
TaskManager是一个JVM进程,每个slot上运行的SubTask均为一个线程。
以下是一个简单的WordCount作业示例:
public class WordCount {
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> source = env.addSource(new UserDefinedSource()).setParallelism(2);
DataStream<Tuple2<String, Integer> > wcStream
= source.flatMap(
new FlatMapFunction<String, Tuple2<String, Integer>>() {
@Override
public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
String[] words = value.split(",");
for (String word : words) {
out.collect(new Tuple2<>(word, 1));
}
}
}).setParallelism(2)
.keyBy(value -> value.f0)
.sum(1).setParallelism(2)
;
wcStream.print().setParallelism(1);
env.execute("Streaming WordCount");
}
}
经过算子链(Operator Chain)优化后,执行图中有3个task和5个subtask。
假设每个TaskManager有3个slot,通过Flink底层的不同task共享slot优化,上述WordCount案例仅需要1个TaskManager。
二、TaskManager各部分内存的作用及大小
在Yarn上运行Flink SQL作业时,通过设置"taskmanager.memory.process.size"来分配给TM的总内存。
从Flink 1.10开始,TM的内存配置如下
假设对上述WordCount作业,我们给TM分配了4G内存,各部分内存大小如下所示:
由上表可知,可以根据需要调整内存的默认大小或比例。
例如,如果Flink作业中未使用RocksDB,可以调小托管内存的比例"taskmanager.memory.managed.fraction"或绝对大小"taskmanager.memory.managed.size",以增大为用户代码分配的内存"taskmanager.memory.task.heap.size"。
三、参考