背景
阿里云上新建立了一个EMR
的集群,为了不直接在EMR
的集群上面提交任务。创建了一个新的gateway
的节点,以供在新的集群上面提交任务。
问题详情
在登录到阿里云的EMR
节点上面,使用spark-shell
的时候,会出现如下截图所示的错误:
或者:
两种错误:
Caused by:iava.net. UnknownHostException:emr-header-1 cluster-3xxxx
Caused by: java.io.0Exception: Failed to connect to emr-header-1.cluster-3xxxx7/10.36.1xx.xx:39927
解决方案
针对第一种错误:需要在EMR
的各个节点中的host
文件里面配置一下这个gateway
的ip
地址
针对第二种错误:需要在EMR
的各个节点里面,打通与gateway
的网络连接(设置一下网络安全组规则)。
总结:
在此做个记录,供后来者参考。