Spark Standalone模式HA环境搭建

Spark Standalone模式常见的HA部署方式有两种:基于文件系统的HA和基于ZK的HA

 

本篇只介绍基于ZK的HA环境搭建:

$SPARK_HOME/conf/spark-env.sh

添加SPARK_DAEMON_JAVA_OPTS的配置信息:

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop000:2181,hadoop001:2181,hadoop002:2181 -Dspark.deploy.zookeeper.dir=/spark"

配置参数说明:

spark.deploy.recoveryMode: 设置恢复模式为zk,默认为NONE

spark.deploy.zookeeper.url: 设置ZK集群的url,形如:192.168.1.100:2181,192.168.1.101:2181

spark.deploy.zookeeper.dir: 设置zk保存恢复状态的路径,默认为spark

 

实现HA的原理:利用ZK的Leader Election机制,选择一个Active状态的Master,其余的Master均为Standby状态;当Active状态的Master死掉后,通过ZK选举一个Standby状态的Master为Active状态。

 

测试步骤:

启动standalone集群后,在各个Standby节点上启动start-master.sh,jps观察是否已经正确启动Master进程;

将Active状态的Master kill掉,观察8080端口对应的页面,发现已经从Standby状态中选举出一个当作Active状态。

采用ZK后由于会有多个Master,在提交任务时不知道哪个为Active状态的Master,可以采用如下的方式提交:

spark-shell --master spark://hadoop000:7077,hadoop001:7077,hadoop002:7077 --executor-memory 2g --total-executor-cores 1

 

详细信息参见官方文档:http://spark.apache.org/docs/latest/spark-standalone.html#standby-masters-with-zookeeper

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值