解决spark on yarn模式时,在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面

1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置

  <property>
    <name>yarn.web-proxy.address</name>
    <value>master01:8089</value>
  </property>

在指定的master01节点启动web-proxy服务:./sbin/yarn-daemon.sh start proxyserver 

2.重启所有节点的的nodemanger、resourcemanager服务即可解决

原因:

在yarn的RM中,包括web-proxy工程,它可以启动一个单独的进程,对外提供web服务,从resourcemanager上点击正在执行的app,会跳转到yarn.web-proxy.address,这里展示正在执行的job信息,job执行结束后,会跳转到historyserver上;如果没有配置yarn.web-proxy.address,则这个功能会集成到RM中。

需要配置yarn.web-proxy.address

启动方式为./sbin/yarn-daemon.sh start proxyserver

参考资料:

https://blog.csdn.net/knowledgeaaa/article/details/53147010

 

  • 6
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值