Flink on yarn 无法启动

1.flink on yarn命令

yarn-session.sh -n 4 -jm 1024 -tm 4096 -s 4

2.出错现象

(1)客户端一直刷新这个,过一段时间显示连接失败与rs

 

(2)yarn页面一直是ACCEPTED,点击进去主机查看日志如下:

3.找问题,以为是yarn出问题,后来用spark测试后发现yarn正常,一天没发现啥原因,后来找了以前的hadoop客户端连接这个集群提交flink,发现竟然可以,然后对比发现很多配置不一样,就这样把hdfs-site.xml,core-site,yarn-site,mapred-site,都拷贝到新的客户端发现可以提交flink了,最后尝试不替换yarn-site,直接重复之前的错误,然后多次对比实验新老客户端yarn-site配置,发现:

老客户端没有配置如下,但是新客户端配置了:

 该配置以前是在mapred-site中配置的,配置如下:

对比发现新客户端的yarn-site这块配置错了,整个集群也是错误的,也不知道spark是怎么跑出来的,hadoop yarn是怎么启动的,修改为 mapred-site中的值后,新客户端再次提交flink成功,如下:

yarn页面job运行状态也是为RUNNING,点击ApplicationMaster也能进去Flink web 页面。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值