在配置Spark高可用(HA)时，遇到Spark Master无法启动的问题，日志显示服务无法在指定端口绑定。经过排查，错误原因是SPARK_MASTER_IP配置不当。解决方案是将SPARK_MASTER_IP设置为具体的IP地址192.168.154.101，并且在HA环境中此配置可能不需要。
Spark的的配置文件spark-env.sh配置如下：
export JAVA_HOME=/usr/local/jdk1.7.0_79
export SCALA_HOME=/home/hadoop/scala-2.10.1
exportHADOOP_HOME=/home/hadoop/hadoop-2.5.0
export SPARK_MASTER_IP=Master1
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.5.0/etc/hadoop
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=18080
SPARK_WORKER_WEBUI_PORT=18081
exportSPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=Master1:2181,Master2:2181,Slave1:2181,Slave2:2181,Slave3-Dspark.deploy.zookeeper.dir=/spark"
启动之后发现Master2上的Spark没有启动，查看日志信息如下：
[SparkR@Master2 logs]$ more spark-SparkR-org.apache.spark.deploy.master.Master-1-Master2.out
Spark Command: /home/SparkR/jdk1.7.0_79/bin/java -cp /home/SparkR/spark-1.6.1-bin-hadoop2.6/conf/:/
最低0.47元/天 解锁文章
扫一扫
3572
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
