Spark学习笔记(相关ha集群搭建+知识总结)
Spark HA模式搭建
借助zookeeper,并且启动至少两个Master节点来实现高可靠,配置方式比较简单:
Spark集群规划:hadoop02,hadoop03是Master;hadoop02, hadoop03, hadoop04是Worker
安装配置zk集群,并启动zk集群
停止spark所有服务,修改配置文件spark-env.sh,在该配置文件中删掉SPARK_MASTER_IP
原创
2017-11-21 17:47:09 ·
683 阅读 ·
0 评论