配置:
TaskManager slots number配置
这个参数是配置一个TaskManager有多少个并发的slot数。有两种配置方式:
- taskmanager.numberOfTaskSlots. 在conf/flink-conf.yaml中更改,默认值为1,表示默认一个TaskManager只有1个task slot.
- 提交作业时通过参数配置。--yarnslots 1,表示TaskManager的slot数为1.
TaskManager的个数
注意: Per job模式提交作业时并不像session模式能够指定拉起多少个TaskManager,TaskManager的数量是在提交作业时根据并发度动态计算。
首先,根据设定的operator的最大并发度计算,例如,如果作业中operator的最大并发度为10,则 Parallelism/numberOfTaskSlots为向YARN申请的TaskManager数。
如果 Parallelism为10,numberOfTaskSlots为1,则TaskManager为10。
flink原理解析讲解(关于聚合机制)
https://blog.csdn.net/zb313982521/article/details/84840401
参考 https://www.jianshu.com/p/aa00be723f23