上篇文章啰里啰嗦说了那么多,不知道大家理解的怎么样!写本文也是衔接上篇文章继续学习以便加深对Flink原理的理解。接下来主要是梳理一下-p, -yn 和实际Flink作业提交成功之后生成TaskManager的个数之间的关系。
继续往下看☞
①yn参数官网解释: -yn,--yarncontainer Number of YARN container to allocate (=Number of Task Managers)。按照这个参数解释,那就是我们设置了job中有多少个TaskManagers,但是事实是不是这样的呢????那看一下下面提交的job:
flink run \
-m yarn-cluster \
-ynm AliyunNginxStudy20190328 \
-yn 3 \
-ys 3 \
-p 3 \
-yjm 2048m \
-ytm 8192m \
-c --classpath /opt/jars/online_aliyun_ls_parse_nginx_test.jar \
--output ${elasticsearch} \
--ipDbPath /opt/lib/ \
--windowSize 10
下图是具体提交到yarn上,Flink最终TaskManagers和Task Slots的数量情况。
图8
通过上面图8的反应的情况,证明-yn并不能决定TaskManager的数量。其实在flink-1.7版本提交任务的时候就可以通过日志信息发现这个参数是弃用的。flink-1.6日志虽然没有提醒,但