这几天在搭建spark的standalone模式,在该做的工作的准备工作都坐好后,在spark的bin目录下运行spark-shell命令时,到连接主机这一步时,就走不动了,抛出的错误是:
INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@ubuntu:7077/user/Master...
网上查了好多,有人说IP地址不对,有人说是IP地址和hostname不配对,检查了好久,感觉都是对的,可就是不行,无奈翻墙google下,国外有个大神说的对,spark对IP和hostname不是对等看待的,建议在配置目录里的spark-env.sh的把IP全换成hostname,即:
export MASTER=spark://ubuntu:7070
export SPARk_MASTER_IP=ubuntu(这是我的主机名,你的可能不一样)
然后再把master和worker重启,然后就可以OK啦!