大数据（074）Spark【Spark on Yarn的HA搭建】

一、前言

        我们在第七十节的时候，已经搭建起了Spark On Yarn，现在我们基于此再搭建Spark的HA。

二、步骤

2.1、修改每台服务器的配置文件/home/spark-1.3.1-bin-hadoop2.4/conf/spark-env.sh

        新增如下配置：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181"

        注释掉如下配置

export SPARK_MASTER_IP=node1

2.2 启动Hadoop

         我们之前已经大见过一个Hadoop的HA集群，现在执行下方步骤将其启动：

        1、启动Zookeeper(在每一台服务器上执行下面命令)

zkServer.sh start

        2、在nameNode上执行start-all.sh，启动Hadoop集群

        3、启动完成后我们查看http://node1:50070/和http://node2:50070/，如下说明Hadoop集群启动成功。

2.3 启动Spark

        执行下方命令，启动Spark

cd /home/spark-1.3.1-bin-hadoop2.4/
./sbin/start-all.sh

        会出现下图日志

        前往http://node1:8080/，可以看到下图截图，说明启动成功：

 2.4 启动Standby的Spark Master

        在node2上执行如下命令

cd /home/spark-1.3.1-bin-hadoop2.4
./sbin/start-master.sh

        前往http://node2:8080/，可以看到下图截图，说明启动成功：

2.5 启动Spark任务

        执行下方命令，在Spark的ALIVE节点启动一个Spark任务。

./bin/spark-shell --master spark://node1:7077

        如下图所示为启动成功

        我们在前往ALIVE节点界面可以看到启动的SPARK任务

2.6 杀掉ALIVE节点的SparkMaster进程，验证STANDBY节点是否会接管任务

        在node1上执行下面命令查看SparkMaster进程的进程ID，并且杀掉该进程

ps -ef | grep "Master"
kill -9 pid

         

        切换至node2上的Spark界面，会发现node2的Spark已经成为ALIVE状态，且Spark任务也接管了过来。