本文详细介绍了如何搭建Spark高可用集群，包括修改配置文件、启动与停止集群、配置Zookeeper实现Master的高可用，以及如何通过Spark Shell提交任务进行计算。在standalone模式下，Spark与Zookeeper交互确保了集群的稳定运行。
首先修改配置文件：
scp -r spark-2.3.1/ marshal05:$PWDspark-env.sh
这里不设置端口也默认为7077
slaves，用于指定子节点。
将配置好的文件分发到其他机器上：
scp -r spark-2.3.1/ marshal05:$PWD接下来我们就要用start-all.sh启动多台机器上的spark,他会在执行这个脚本的机器上启动一个Master,然后读取slaves文件，在对应的机器上通过ssh协议启动Worker
我们可以通过web页面查看集群的资源和情况。
这里的8080是spark集群的管理页面的端口。707
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
