Flink SQL任务TaskManager内存设置

         在提交flink任务时，通过 taskmanager.memory.process.size 配置 taskmanager的总运行内存，其内的细节内存根据默认比例划分有时候也会存在不合理。如下所示：

        配置了10G的taskmanager运行总内存，默认给Managed Memory分配了3.5G的内存，实际任务运行这部分根本不需要这么多内存。如何对内存进行最大化管理和配置就十分重要了。

        本文主要介绍FlinkSQL的任务 TaskManager内存调优，其他flink任务也可以作为参考。

1、启动flink sql客户端

sql-client.sh embedded shell

 可以先在flink客户端执行以下命令进行flinksql任务配置。

#设置flink任务本身任务名
SET pipeline.name = 'flink-sql-test';

#设置flink on yarn的任务名
SET yarn.application.name= 'flink-sql-test';

#设置flink checkpoint的文件保存地址
SET state.checkpoints.dir = 'hdfs:///flink/checkpoints/flink-sql-test';

#设置taskmanager的运行总内存为5G
SET taskmanager.memory.process.size = '5120m';

#设置flink框架内存
SET taskmanager.memory.framework.heap.size = '128m';

#设置用户代码运行内存
SET taskmanager.memory.task.heap.size = '4096m';

#设置managed memory内存
SET taskmanager.memory.managed.size = '128m';

#设置堆外内存
SET taskmanager.memory.framework.off-heap.size = '128m';

#设置网络缓存
SET taskmanager.memory.network.max = '128m';

#设置JVM内存
SET taskmanager.memory.jvm-metaspace.size = '256m';
SET taskmanager.memory.jvm-overhead.max = '256m';

#设置jobmanager总内存
SET jobmanager.memory.process.size= '1024m';

#设置flink on yarn的yarn队列
SET yarn.application.queue= 'other';

经过调试后提交的flink taskmanager运行时内存如下：

         可以看到原来配置的10G taskmanager内存，现在只需要5G就能跑起来了，内存优化了一半，有效的利用了集群的资源。

        有关flink的内存调优配置，需要的同学也可以参考这篇文章进行更加细节的内存配置flink任务内存调优，TaskManager、JobManager内存配置_大数据摸鱼的博客-CSDN博客