关于MASTER=spark://SparkMaster:7077 ./spark-shell问题

原网页：http://bbs.csdn.net/topics/390941085

在运行MASTER=spark://SparkMaster:7077 ./spark-shell时候

出现scala了，但是后面紧接着出现了。

14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]
14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]
14/11/25 06:02:28 ERROR cluster.SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
14/11/25 06:02:28 ERROR scheduler.TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

在错误日志中发现

14/11/25 21:51:40 ERROR remote.EndpointWriter: AssociationError [akka.tcp://sparkMaster@SparkMaster:7077] -> [akka.tcp://spark@SparkMaster:34726]: Error [Association failed with [akka.tcp://spark@SparkMaster:34726]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://spark@SparkMaster:34726]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: SparkMaster/192.168.64.129:34726
]这条语句
也不知道到底怎么弄。

然后我对比和别人的运行，我的是akka.tcp://sparkMaster@SparkMaster:7070:
而别人是akka.tcp://spark@SparkMaster:7070:配置都一样，是不是这个原因。


比较有意思的是，如果直接在bin文件夹下启动spark shell，倒能运行成功。

然后我把MASTER=spark://SparkMaster:7077 ./spark-shell中的SparkMaster直接改成主节点Ip，倒不出现14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]这句话了，还是出现14/11/25 06:02:28 ERROR scheduler.TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.错误。

我在spark-env.sh中设置SPARK_MASTER_IP =SparkMaster
然后在hosts中设置xxx.xxx.xx.xx  SparkMaser
hostname中设置SparkMaster.应该是master的ip没什么问题。

如果在bin启动spark shell ，然后跑wordcount程序没什么问题的。
就是MASTER=spark://SparkMaster:7077 ./spark-shell时候，成功启动了shell，紧接着出现了那些异常就自动退出shell了。

挺怪异，我试了一下master=spark://centos.host1:7077 ./spark-shell 没有问题。楼主把MASTER改成小写试试，服务重启在执行试试。