基于CentOS7、Hadoop2.7.7搭建Spark2.4.7、Zookeeper3.6.3并开启spark高可用模式

一. 概述

1. spark的三种部署模式

1.1 Spark on YARN

Spark on Yarn 模式就是将Spark应用程序跑在Yarn集群之上，通过Yarn资源调度将executor启动在container中，从而完成driver端分发给executor的各个任务。将Spark作业跑在Yarn上，首先需要启动Yarn集群，然后通过spark-shell或spark-submit的方式将作业提交到Yarn上运行。Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境
采用yarn模式的话，其实就是把spark作为一个客户端提交作业给YARN，实际运行程序的是YARN，就不需要部署多个节点，部署一个节点就可以了

1.2 Standalone (单机模式)

Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式，该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成，在Spark 的Standalone模式中，主，即为master;从，即为worker.
适合于不太依赖Hadoop的运算环境，或者存储集群和计算集群分离的场景

1.3 High Alailability(高可用)

所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper作为它的active-standby切换的工具，设置也很简单。一个完整的切换需要1-2分钟的时间，这个时候新提交的作业会受到影响，之前提交到作业不会受到影响

2. 准备工作

这里需要已经安装hadoop集群，如果没有安装请看鄙人写的搭建hadoop集群

2.1 打开虚拟机中

分别打开hadoop01、hadoop02、hadoop03，并使用终端工具连接，这里我使用的为secuerCRT、secuerFX。
这里提供下载地址连接：https://www.aliyundrive.com/s/XNssQD7dHJ1提取码: jtd3
安装破解教程:https://blog.csdn.net/qq_37954088/article/details/86555660
secuerFX需要将破解放到安装目录中，然后打开注册机点击path即可，后面跟前面的工作一致

2.2 下载安装包

需要下载spark2.4.7、zookeeper压缩包
这是镜像下载链接https://archive.apache.org/dist/
找到spark下载版本为spark-2.4.7-bin-hadoop2.7.tgz
找到zookeeper下载版本为apache-zookeeper-3.6.3-bin.tar.gz

2.3 上传

这是我的目录

sudo mkdir -p /opt/export/data # 存放数据类文件
sudo mkdir -p /opt/export/servers # 存放服务类软件
sudo mkdir -p /opt/export/software # 存放安装包文件
利用secuerFX上传到software目录里，方便后面使用

二. 搭建

1. 安装解压

cd ~/opt/export/software 
tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz -C /opt/export/servers/
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/export/servers/

2. 修改配置文件

1. spark 中的master 与 worker

Master负责分配资源，在集群启动时，Driver向Master申请资源，Worker负责监控自己节点的内存和CPU等状况，并向Master汇报。
一台机器可以同时作为master和worker节点，其中master节点只有一个，worker节点可以配置几个。
详情概论参考链接：https://blog.csdn.net/hongmofang10/article/details/84587262

2. 配置文件

spark-conf-file

cd ~/opt/export/servers/spark-2.4.7-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
#增加以下参数
# java目录
export JAVA_HOME=/opt/export/servers/jdk1.8.0_321
# master主机启动的IP地址  spark主节点
# 因为是配置spark 高可用模式。需要在另一台需改为对应的IP地址 
# 比如在hadoop02配置spark的备用节点.为： export SPARK_MASTER_HOST=hadoop02
export SPARK_MASTER_HOST=hadoop01
# master 启动的WebUI界面端口 默认
export SPARK_MASTER_WEBUI_PORT=8080
# master 启动的端口
export SPARK_MASTER_PORT=7077
# 可用spark shell 读取HDFS 文件
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export LD_LIBRARY_PATH=${HADOOP_HOME}/lib/native
# spark HA
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181
-Dspark.deploy.zookeeper.dir=/spark"


#下一个配置文件
cp slaves.template slaves
vi slaves
#删除localhost
#添加    在三个节点都配置worker节点
hadoop01
hadoop02
hadoop03

zookeeper-conf-file

cd ~/opt/export/servers/apache-zookeeper-3.6.3-bin/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
#修改dataDir   
dataDir=/opt/export/data/zookeeper/data   # 数据存放目录
dataLogDir=/opt/export/data/zookeeper/log   # 日志存放目录
ps: 这些目录需要手动创建
mkdir -p /opt/export/data/zookeeper/data
mkdir -p /opt/export/data/zookeeper/log
#添加
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
#解释
server.A = B:C:D 
A表示这个是第几号服务器
B 是这个服务器的 ip 地址
C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口
D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader
#再添加 
admin.serverPort=8086
#因为zookeeper内嵌的Jetty容器的`AdminServer`默认端口是8080,与spark、tomcat端口冲突。导致端口被占用，启动报错，这里我们自己修改端口为8086(自己设置)，或者不启用改为`false`
#保存文件
#在刚刚配置的dataDir目录中创建myid文件  每个节点的myid不一样，与zoo.cfg 的 A对应, 在分发文件后在进行下面操作
cd /opt/export/data/zookeeper/data
hadoop01 : echo 1 > myid
hadoop02 : echo 2 > myid
hadoop03 : echo 3 > myid

3. 分发文件

# 改名
mv /opt/export/servers/apache-zookeeper-3.6.3-bin /export/servers/zookeeper-3.6.3
mv /opt/export/servers/spark-2.4.7-bin-hadoop2.7 /opt/export/servers/spark-2.4.7

scp -r /opt/export/servers/{zookeeper-3.6.3,spark-2.4.7} hadoop02:/export/servers/
scp -r /opt/export/servers/{zookeeper-3.6.3,spark-2.4.7} hadoop03:/export/servers/

scp -r /opt/export/data/zookeeper/{data,log} hadoop02:/export/data/
scp -r /opt/export/data/zookeeper/{data,log} hadoop03:/export/data/
# 并在hadoop02、hadoop03中创建dataDir目录，创建myid文件
# 写入对应的id值
# 修改spark-env.sh 中的masterIP地址

3. 环境变量

sudo vi /etc/profile
export SPARK_HOME=/opt/export/servers/spark-2.4.7
export ZK_HOME=/opt/export/servers/zookeeper-3.6.3
export PATH=${PATH}:${ZK_HOME}/bin:${SPARK_HOME}/bin
soucer /etc/profile

4.启动

• 启动zookeeper

  #需要分别在Hadoop01、02、03上启动
  zkServer.sh start
  #查看状态
  zkServer.sh status
  #三台机器共需要出现两个follower（跟随者）、leader（领导者）
  

• 启动spark

  # hadoop01
  ${SPARK_HOME}/sbin/start-all.sh
  # hadoop02
  ${SPARK_HOME}/sbin/start-master.sh
  
  # spark shell
  ${SPARK_HOME}/bin/spark-shell --master spark://hadoop01:7077
  

• web端口

  https://192.168.121.134:8080

  https://192.168.121.135:8080

三、测试spark

使用spark计算圆周率

cd ${SPARK_HOME}/
# 计算圆周率  可通过增大最后的数字 10 来计算约趋近于圆周率
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077 --executor-memory 1G --total-executor-cores 1 examples/jars/spark-examples_2.11-2.4.7.jar 10

结果在产生的记录中找

Pi is roughly 3.140691140691141

结合spark与HDFS

使用HDFS中的文件进行单词计算运算

首先启动HDFS

start-dfs.sh

添加数据

cd /opt/export/data/test/
vi words.txt
hello hadoop
hello spark
hell0 itcast

hadoop fs -mkdir -p /test
hadoop fs -put words.txt /test

启动spark shell

${SPARK_HOME}/bin/spark-shell --master spark://hadoop01:7077

在spark shell交互界面编写

scala > sc.textFile("/test/words.txt").flatMap(_.spilt(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String,Int)]=Array((itcast,1),(hello,3),(spark,1),(hadoop,1))
# 退出
scala > quit