Spark集群master节点实现HA配置

最新推荐文章于 2024-08-03 11:07:23 发布

kwu_ganymede

最新推荐文章于 2024-08-03 11:07:23 发布

阅读量5.3k

点赞数 2

分类专栏： Spark 文章标签： spark master HA

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/50612504

版权

本文详细介绍了如何在Spark集群中实现Master节点的高可用（HA）配置，使用Zookeeper进行主备切换。在standalone模式下，通过配置Spark-env.sh和slaves文件，以及启动Zookeeper服务，成功实现主备切换。当主Master节点失效时，任务能自动切换到备用Master节点继续运行，确保集群稳定性。

摘要由CSDN通过智能技术生成

Spark集群master节点实现HA配置，standalone模式的Spark集群构架为master-slave的架构，master可以实现类似HDFS2.0之后基于Zookeeper的HA，主备切换配置。

1、集群环境Spark1.5.2+Zookeeper.3.4.5

启动zk服务

zkServer.sh start

查看状态

zkServer.sh status

自动选举出leader

2、配置spark-env.sh

加入如下配置

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=spark1:2181,spark2:2181,spark3:2181 -Dspark.deploy.zookeeper.dir=/spark"

指定恢复的模式为 zookeeper，并配置相关zk的结点