这个问题是这样的,就是我这spark的集群已经搭建好了,然后使用spark的安装包里的实例进行测试时发现报了这么一个问题,不知道各位spark的探索者们是否注意过这个问题:
我这将把这个问题的原景表现出来,希望大家能帮我解决一下,我这给我说一下这其中的缘由。
在集群已经正常启动的情况下,我这里使用这个命令提交的:./spark-submit --master spark://node06:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar 10
大家可以看到这是使用standalone的cluster方式来进行提交的,但是当你回车时,他就报了这个下面的这个警告:
Running Spark using the REST application submission protocol.
18/01/22 21:21:27 INFO rest.RestSubmissionClient: Submitting a request to launch an application in spark://node06:7077.
18/01/22 21:21:38 WARN rest.RestSubmissionClient: Unable to connect to server spark://node06:7077.
Warning: Master endpoint spark://node06:7077 was not a REST server. Falling back to legacy submission gateway instead.
然后就直接退出了,我这原以为是我这集群的问题,所以去查各种spark的进程是否没有启动成功啥的,还有就是端口啥的,发现都没有问题,然后再使用standalone的client方式进行提交时,就能得到结果;但当再使用standalone的cluster方式来进行提交时发现还是报上面相同的问题。
不知道spark有深入研究的探索者们对这样一个问题,能帮我解释解释下吗?? ----问题已经解决
各位spark的学习者们,这个终于发现这个不是问题,只是报的一些警告,其实输出的结果可以在页面中的日志查看到或者去日志目录中查看到
希望大家共同探讨,共同进步。