spark 集群运行standalone的cluster 方式遇到的bug,希望能被一个大神来解决

这个问题是这样的,就是我这spark的集群已经搭建好了,然后使用spark的安装包里的实例进行测试时发现报了这么一个问题,不知道各位spark的探索者们是否注意过这个问题:

我这将把这个问题的原景表现出来,希望大家能帮我解决一下,我这给我说一下这其中的缘由。

在集群已经正常启动的情况下,我这里使用这个命令提交的:./spark-submit  --master spark://node06:7077 --deploy-mode cluster  --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar   10

大家可以看到这是使用standalone的cluster方式来进行提交的,但是当你回车时,他就报了这个下面的这个警告: 

Running Spark using the REST application submission protocol.
18/01/22 21:21:27 INFO rest.RestSubmissionClient: Submitting a request to launch an application in spark://node06:7077.
18/01/22 21:21:38 WARN rest.RestSubmissionClient: Unable to connect to server spark://node06:7077.
Warning: Master endpoint spark://node06:7077 was not a REST server. Falling back to legacy submission gateway instead.

然后就直接退出了,我这原以为是我这集群的问题,所以去查各种spark的进程是否没有启动成功啥的,还有就是端口啥的,发现都没有问题,然后再使用standalone的client方式进行提交时,就能得到结果;但当再使用standalone的cluster方式来进行提交时发现还是报上面相同的问题。 

不知道spark有深入研究的探索者们对这样一个问题,能帮我解释解释下吗??   ----问题已经解决

各位spark的学习者们,这个终于发现这个不是问题,只是报的一些警告,其实输出的结果可以在页面中的日志查看到或者去日志目录中查看到

希望大家共同探讨,共同进步。

评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值