云平台发放的虚拟机无法提交spark任务到大数据集群上（双IP）：Service ‘sparkDriver‘ failed after 16 retries...correct binding ...

卢子墨

已于 2022-05-28 16:20:00 修改

阅读量490

点赞数 1

分类专栏： Spark原理、实战、总结文章标签： tcp/ip 网络协议 spark

于 2022-05-28 16:15:52 首次发布

本文链接：https://blog.csdn.net/lukabruce/article/details/125019189

版权

Spark原理、实战、总结专栏收录该内容

56 篇文章 4 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

在云平台的虚拟机中，由于存在内部IP和外网虚拟IP，提交Spark任务时出现'Service 'sparkDriver' failed after 16 retries...'错误。问题在于Spark任务使用内部IP提交，集群尝试通过此IP交互，导致任务无法执行。解决方法是在客户端的spark-default.conf文件中设置spark.driver.host为外网IP，spark.driver.bindAddress为内部IP，确保任务提交和集群交互使用正确地址。

摘要由CSDN通过智能技术生成

1 现象描述

部分异常： Service 'sparkDriver' failed after 16 retries.......correct binding address.

云平台发放的虚拟机包含两个IP，包含虚拟机内部实际的网络地址（ifconfig查看到的内网IP：192.168.xx.xx）和对方访问的IP（绑定的外网虚拟IP：11.11.xx.xx）,想要在云平台外访问虚拟机需要使用外网IP经过一次网络地址转换，直接使用内部IP是无法访问的。

所以在当任务提交的时候实际使用的是内部IP提交任务到spark集群，当spark集群与客户端交互时，也是访问这个内部IP地址，这显然是不可达的。从而导致任务无法正常执行下去。

2 解决方法

手动在客户端的spark-default.conf文件上加两个配置，即在提交任务时使用内部IP，接收spark集群的信息时，使用外部IP：

--------

spark.driver.host 外部IP // spark.driver.host 11.11.xx.xx
spark.driver.bindAddre