flink 传参 启动_Flink之参数设置

上篇文章啰里啰嗦说了那么多,不知道大家理解的怎么样!写本文也是衔接上篇文章继续学习以便加深对Flink原理的理解。接下来主要是梳理一下-p, -yn 和实际Flink作业提交成功之后生成TaskManager的个数之间的关系。

继续往下看☞

①yn参数官网解释: -yn,--yarncontainer Number of YARN container to allocate (=Number of Task Managers)。按照这个参数解释,那就是我们设置了job中有多少个TaskManagers,但是事实是不是这样的呢????那看一下下面提交的job:

flink run \

-m yarn-cluster \

-ynm AliyunNginxStudy20190328 \

-yn 3 \

-ys 3 \

-p 3 \

-yjm 2048m \

-ytm 8192m \

-c --classpath /opt/jars/online_aliyun_ls_parse_nginx_test.jar \

--output ${elasticsearch} \

--ipDbPath /opt/lib/ \

--windowSize 10

下图是具体提交到yarn上,Flink最终TaskManagers和Task Slots的数量情况。

图8

通过上面图8的反应的情况,证明-yn并不能决定TaskManager的数量。其实在flink-1.7版本提交任务的时候就可以通过日志信息发现这个参数是弃用的。flink-1.6日志虽然没有提醒,但

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值