hadoop+Zookeeper+HBase+Spark（HA）环境搭建

1、hadoop+Zookeeper+HBase的环境搭建请看：https://blog.csdn.net/sunxiaoju/article/details/85878696

2、搭建scale环境，首先从https://www.scala-lang.org/download/地址下载，选择linux，如下图所示：

2、使用如下命令将下载好的scala上传到master节点：

scp Desktop/spark/scala-2.12.8.tgz hadoop@192.168.0.109:/home/sunftp/ftpdir/

如下图所示：

3、使用如下命令解压，如下图所示：

 tar -xzvf scala-2.12.8.tgz

如下图所示：

4、然后通过如下命令将Scala移动到/usr/目录下：

sudo mv scala-2.12.8 /usr/

如下图所示：

5、配置环境变量，编辑/etc/profile文件，然后加入如下配置：

export SCALA_HOME=/usr/scala-2.12.8
export PATH="$SCALA_HOME/bin:$PATH"

如下图所示：

6、然后执行source /etc/profile，使之配置生效，如下图所示：

7、然后执行scala -version查看scala版本，并检测是否配置成功

8、按照以上配置分别配置master1、slave1、slave2节点上的scala。

9、从http://spark.apache.org/downloads.html下载spark，选择spark和hadoop版本，如下图所示：

10、使用如下命令将下载好的spark上传至master节点：

scp Desktop/spark/spark-2.4.0-bin-hadoop2.7.tgz hadoop@192.168.0.109:/home/sunftp/ftpdir/

如下图所示：

11、然后使用人下命令在master解压spark：

tar -xzvf spark-2.4.0-bin-hadoop2.7.tgz

12、将解压出的spark目录移动到/usr/目录，如下图所示：

13、然后在/usr/spark-2.4.0-bin-hadoop2.7/目录创建一个zookeeper_spark文件夹，如下图所示：

14、然后修改用户所属将root修改成hadoop，如下图所示：

15、进入到/usr/spark-2.4.0-bin-hadoop2.7/conf/目录修改配置文件，如下图所示：

16、复制spark-env.sh.template并重命名为spark-env.sh，如下图所示：

17、然后编辑spark-env.sh，在文件的末尾添加入下配置：

export JAVA_HOME=/usr/jdk1.8.0_191
export SCALA_HOME=/usr/scala-2.12.8
export HADOOP_HOME=/usr/hadoop-2.7.7
export HADOOP_CONF_DIR=/usr/hadoop-2.7.7/etc/hadoop
export SPARK_WORKER_MEMORY=500m
export SPARK_WORKER_CORES=1
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=sunxj-hdm.myhd.com:2181,sunxj-hdm1.myhd.com:2181,sunxj-hds1.myhd.com:2181,sunxj-hds2.myhd.com:2181 -Dspark.deploy.zookeeper.dir=/usr/spark-2.4.0-bin-hadoop2.7/zookeeper_spark"

-Dspark.deploy.recoveryMode=ZOOKEEPER    #说明整个集群状态是通过zookeeper来维护的，整个集群状态的恢复也是通过zookeeper来维护的。就是说用zookeeper做了spark的HA配置，Master(Active)挂掉的话，Master(standby)要想变成Master（Active）的话，Master(Standby)就要像zookeeper读取整个集群状态信息，然后进行恢复所有Worker和Driver的状态信息，和所有的Application状态信息； 
-Dspark.deploy.zookeeper.url=sunxj-hdm.myhd.com:2181,sunxj-hdm1.myhd.com:2181,sunxj-hds1.myhd.com:2181,sunxj-hds2.myhd.com:2181#将所有配置了zookeeper，并且在这台机器上有可能做master(Active)的机器都配置进来；（我用了4台，就配置了4台） 

-Dspark.deploy.zookeeper.dir=/usr/spark-2.4.0-bin-hadoop2.7/zookeeper_spark
#-Dspark.deploy.zookeeper.dir是保存spark的元数据，保存了spark的作业运行状态； 
zookeeper会保存spark集群的所有的状态信息，包括所有的Workers信息，所有的Applactions信息，所有的Driver信息 

如下图所示：

注意：如果存在export SPARK_MASTER_IP则需要将此项注释掉。然后保存退出。

18、复制slaves.template成slaves，如下图所示：

19、然后编辑slaves，将localhost删除，然后添加入下内容：

sunxj-hdm.myhd.com
sunxj-hdm1.myhd.com
sunxj-hds1.myhd.com
sunxj-hds2.myhd.com

如下图所示：

20、配置环境变量，编辑/etc/profile文件，在最后加入如下配置：

export SPARK_HOME=/usr/spark-2.4.0-bin-hadoop2.7
export PATH="$SPARK_HOME/bin:$PATH"

如下图所示：

22、然后使用source /etc/profile使之配置生效,使用同样方法在master1,slave1,slave2节点上配置环境变量。

23、然后使用如下命令将配置好的spark-2.4.0-bin-hadoop2.7上传到master1,slave1,slave2节点上：

scp -r spark-2.4.0-bin-hadoop2.7 hadoop@192.168.0.108:/home/sunftp/ftpdir/
scp -r spark-2.4.0-bin-hadoop2.7 hadoop@192.168.0.110:/home/sunftp/ftpdir/
scp -r spark-2.4.0-bin-hadoop2.7 hadoop@192.168.0.111:/home/sunftp/ftpdir/

24、然后在master1,slave1,slave2节点上使用如下命令，将上传的spark-2.4.0-bin-hadoop2.7移动到/usr/目录下：

sudo mv /home/sunftp/ftpdir/spark-2.4.0-bin-hadoop2.7 /usr/

如下图所示：

25、然后在各个节点上依次启动zookeeper、hadoop、resourcemanager(slave1、slave2)、hbase、spark

命令如下：

(1)、zkServer.sh start（master,master1,slave1,slave2都要执行）

(2)、start-all.sh（只在master上执行,注意：有时候第一次启动时两个namenode节点都是standby状态，需要停止在启动即可）

(3)、yarn-daemon.sh start resourcemanager（只在slave1,slave2上执行）

(4)、start-hbase.sh（只在master上执行）

(5)、/usr/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh (只在master上执行)如下图所示：

26、然后查看四个节点的进程，如下图所示：

master:

master1:

slave1:

slave2:

27、此时Master进程和Worker进程都以启动成功，但是spark只有一个Master说明spark HA没有启动起来，那么此时必须要手动启动才行，在master1上使用如下命令进行启动：

/usr/spark-2.4.0-bin-hadoop2.7/sbin/start-master.sh

如下图所示：

28、此时在查看master1进程，如下图所示：

master1：

29、打开web页面查看http://192.168.0.109:8080/和http://192.168.0.108:8080/，如下图所示：

master：

master1：

30、此时可以看到状态一个是ALIVE，一个是STANDBY，此时将master节点上的Master进程kill掉，如下图所示：

31、此时在查看web状态192.168.0.108上的从STANDBY变成了ALIVE，如下图所示：

32、测试，通过spark-shell 命令进行测试，在master节点上输入该命令进入scala环境，如下图所示：

33、然后在master1上创建一个worldcount.txt文件，使用如下命令创建：

sudo vim worldcount.txt

文件内容如下：

hello
hello
world
world
hello
linux
spark
window
linux
spark
spark
linux
hello
sunxj
window

如下图所示：

34、然后通过如下命令将文件上传至hdfs系统：

hadoop fs -put worldcount.txt /user_data

如下图所示：

35、然后在spark即scala命令行依次输入如下代码：

val file=sc.textFile("hdfs://master/user_data/worldcount.txt")
val rdd = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
rdd.collect()
rdd.foreach(println)

如下图所示：

36、此时spark搭建完毕，注意在写hdfs路径时，可以通过hadoop fs -ls hdfs://master/，一步一步的找路径，如下图所示：