flink on yarn提交样例，控制1个taskmanger 拥有的slot和cpu个数参数配置

最新推荐文章于 2024-02-25 16:37:56 发布

BigData-0

最新推荐文章于 2024-02-25 16:37:56 发布

阅读量974

点赞数

分类专栏：大数据数仓实时文章标签： flink 大数据

Author:baiyun ,Email:[email protected]

本文链接：https://blog.csdn.net/JavaBigData/article/details/127698245

版权

大数据数仓同时被 2 个专栏收录

34 篇文章 1 订阅

订阅专栏

实时

13 篇文章 1 订阅

订阅专栏

下面表示并行度为4,1个TM的slot数量为3,1个TM的cpu个数是2

注意 flink在版本1.13.6 -yD yarn.containers.vcores=2 时参数没有生效，

./bin/flink run -t yarn-per-job -d  \
-Dyarn.application.queue=default -Djobmanager.memory.process.size=2048mb -Dtaskmanager.memory.process.size=4096mb \
-Dyarn.application.name=test2 -Dtaskmanager.numberOfTaskSlots=3 \
-Dyarn.containers.vcores=2 \
-p 4  \
-c com.baiyun.Demo1 /home/hadoop/xx-1.0-SNAPSHOT.jar