基于Standalone模式部署高可用的Master服务以及Zookeeper的部署

一、Zookeeper的安装配置（最好配置单数个节点）

1、用Xftp上传安装包到自己的文档目录中

解压安装包到hadoop目录下

tar -zxvf /usr/husun/apache-zookeeper-3.5.8-bin.tar.gz -C /usr/hadoop/

解压完安装包进入到hadoop目录下

cd /usr/hadoop/

目录名字太长，改短点

mv apache-zookeeper-3.5.8-bin/ zookeeper-3.5.8

2、修改配置文件

2.1、修改zoo.cfg文件

执行下面的两行命令：

cd /usr/hadoop/zookeeper-3.5.8/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg 

修改为：

tickTime=2000
clientPort=2181
dataDir=/usr/hadoop/zookeeper-3.5.8/data

在末尾添加：

# 节点数为单数（投票机制）
server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888

2.2、在zookeeper-3.5.8目录下创建data目录

mkdir data

并在data目录下创建myid文档

touch myid

2.3、集群同步

scp -r /usr/hadoop/zookeeper-3.5.8/ slave1:/usr/hadoop/
scp -r /usr/hadoop/zookeeper-3.5.8/ slave2:/usr/hadoop/

2.4、修改myid文档

分别在master、slave1、slave2的/usr/hadoop/zookeeper-3.5.8/data目录下的myid文档中填写在zoo.cfg文件中添加的对应的slave后面的数值。例如：

cd /usr/hadoop/zookeeper-3.5.8/data
vi myid

添加：

0

保存退出；
slave1，slave2 配置与master相同

3、配置用户环境变量

3.1、配置profile文档

vi /etc/profile

在文档末尾添加：

export ZOOKEEPER_HOME=/usr/hadoop/zookeeper-3.5.8
export PATH=$ZOOKEEPER_HOME/bin:$PATH

保存并退出。

3.2、发送 /etc/profile 配置文件至slave1和slave2

scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile

3.3、分别在master、slave1、slave2上生效配置

source /etc/profile

4、启动Zookeeper

4.1启动

分别在master、slave1、slave2上启动Zookeeper

zkServer.sh start

4.2、查看服务

最好是全部启动后在查看服务

zkServer.sh status

二、配置Spark

1、修改配置文件

1.1、修改spark-env.sh文件

执行：

cd /usr/spark/spark-2.4.7-bin-hadoop2.7/conf/
vi spark-env.sh

找到下面的一行并且注释掉：

export SPARK_MASTER_HOST=master

并在文档末尾添加

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"

参数说明

• spark.deploy.recoveryMode：恢复模式
• spark.deploy.zookeeper.url：ZooKeeper的Server地址
• spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息。

2、分发配置文件

scp -r /usr/spark/spark-2.4.7-bin-hadoop2.7/conf/spark-env.sh slave1:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/
scp -r /usr/spark/spark-2.4.7-bin-hadoop2.7/conf/spark-env.sh slave2:/usr/spark/spark-2.4.7-bin-hadoop2.7/conf/

3、启动Spark服务

cd /usr/spark/spark-2.4.7-bin-hadoop2.7/

3.1、在master机上执行：

sbin/start-all.sh 

3.2、在slaver1上执行：

 sbin/start-master.sh

4、查看服务