【EMR】EMR的gateway节点使用spark-shell失败

背景

阿里云上新建立了一个EMR的集群,为了不直接在EMR的集群上面提交任务。创建了一个新的gateway的节点,以供在新的集群上面提交任务。

问题详情

在登录到阿里云的EMR节点上面,使用spark-shell的时候,会出现如下截图所示的错误:
在这里插入图片描述
或者:
在这里插入图片描述
两种错误:

  1. Caused by:iava.net. UnknownHostException:emr-header-1 cluster-3xxxx
  2. Caused by: java.io.0Exception: Failed to connect to emr-header-1.cluster-3xxxx7/10.36.1xx.xx:39927

解决方案

针对第一种错误:需要在EMR的各个节点中的host文件里面配置一下这个gatewayip地址
针对第二种错误:需要在EMR的各个节点里面,打通与gateway的网络连接(设置一下网络安全组规则)。

总结:

在此做个记录,供后来者参考。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值