大数据-玩转数据-Spark集群安装高可用

大数据-玩转数据-Spark集群安装高可用

说明：在前已经安装完成hadoop,zookeeper,spark基础上补充。
1.修改 /conf/spark-env.sh 配置

export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_201
export SPARK_DAEMON_JAVA_OPTS="-Dspark-deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.80.2:2181,192.168.80.3:2181,192.168.80.4:2181,192.168.80.5:2181 -Dspark.deploy.zookeeper.dir=/spark2"

2. 分发配置
到 spark 的 conf 目录 下

[root@hadoop1 conf]# for i in {2..4};do scp -r /home/hadoop/spark/conf/spark-env.sh    hadoop$i:$PWD; done

将spark-env.sh 中的SPARK_LOCAL_IP 修改 0.0.0.0

3.启动
启动zookeeper , 一个leader,两个folower 正常

启动spark,
先在hadoop1启动一个master ,前面已经将start-all.sh 改名成了 satart-spark-all.sh

[root@hadoop1 sbin]#start-spark-all.sh

再在备用节haoop2点启一个master

[root@hadoop2 sbin]#start-master.sh

3.监控
杀掉hadoop1的master
观察是否自动切换到hadoop2
http://192.168.80.5:8088/
生产环境做监控master,进行告警，以便恢复故障机。

4.提交第一个程序
自带案例程序测试

[root@hadoop2 bin]# bin/spark-submit --master spark://hadoop1:7077,hadoop2:7077 --class org.apache.spark.examples.SparkPi --executor-memory 1024mb --total-executor-cores 1  examples/jars/spark-examples_2.12-3.2.0.jar 100 

–executor-memory 1024mb 每个executor用多少内存
–total-executor-cores 1 整个app用的核数
hadoop1:7077,hadoop2:7077 高可用master 可切换

总结

生产环境更适合高可用集群部署。