本文介绍了如何配置Spark实现高可用(HA)机制，通过Zookeeper集群进行管理。首先，详细步骤包括安装和启动Zookeeper服务，并检查其状态。接着，在已有的Spark集群中，修改配置文件，将Master信息注册到Zookeeper集群上。具体配置涉及`SPARK_DAEMON_JAVA_OPTS`环境变量。最后，启动Master和Worker，并在另一台机器上启动热备Master，确保集群时间同步，以实现HA状态。用户可以通过hdp01:8080和hdp02:8080查看和验证HA效果。
1.安装zookeeper集群，修改配置文件，之后启动zookeeper的服务。
之后使用命令zkServer.sh start分别启动你的每台机器上面的zk服务。可以使用命令zkServer.sh status查看状态。
2.已经安装好spark集群。在配置文件中修改一些配置，将master的信息注册在你的zookeeper的集群上。
具体的命令是：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp01:2181,hdp02:2181,hdp03:2181 -Dspark.deploy.zookeeper.dir=/spark"
3
最低0.47元/天 解锁文章
678
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
