一个诡异的spark-submit运行问题(已解决)

今天在测试刚刚部署好的spark集群的时候,碰到了一个诡异的spark-submit问题。搜了一圈也没发现,结果意外的找到了原因,真是欲哭无泪!


问题:写好了一个计算Pi的程序,编译打包成 ComputePi.jar包,放到spark集群的master上,然后用命令

spark-submit --master spark://master1:7077 --class com.ibm.james.spark.basic.ComputePi --executor-memory 128M --total-executor-cores 2 JavaSparkComputePi.jar 2
运行。

没几秒后程序运行结束,但是啥结果也没有。正常应该打印出对Pi的估算。再运行,还是一样。马上去WebUI上看spark集群里面的application,诡异的是居然没有任何记录!!

然后就是各种试,发现如果把master1换成本机的IP,就可以正常的出现结果,Web UI里面也出现了application的记录。需要说明的是命令里的master1是这个master机器的hostname。只是hostname本身是Master1,首字母大写了。


因为根据在windows和linux里面,无论是大小写的hostname都可以ping通,所以就根本没有觉得这个命令里面的hostname会有啥问题。于是就开始满世界的搜到底为什么用hostname+7077端口就不信,还仔细看log去找spark系统的原因。


各种查找都没发现问题,几乎要放弃。最后决定试一试大小写,见鬼啦!!!

改成首字母大写的hostname后,居然就可以正常运行啦!!!!!

到这里才发现spark不会默认把域名都改成小写然后去check本机的/etc/hosts文件啊。这算是个bug不???!?!

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 6
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值