spark HA

1.解压zookeeper

2.配置环境变量   //zookeeperhome path

3.创建data logs 文件夹

4.conf 创建zoo.cfg

5.tata 创建myid

修改 spark-env.sh 使用zookeeper管理

export APARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=Master:2181,Master1:2181,Master2:2181 -Dspark.deploy.zookeeper.dir=/spark"

zookeeper集群,分别启动 ./spark-master.sh

启动spark-shell

spark-shell --master sperk://Msater:7077,Msater1:7077,Msater2:7077

zookeeper 中包含spark的内容：Worker Driver Application

粗粒度 细粒度

粗粒度：可复用，效率更高

细粒度：