Hadoop+Spark+Zookeeper高可用集群搭建（三）

1. 复制虚拟机

在前面我们已经配置好一个节点，其余四个节点可以通过复制文件夹的方式来安装。

然后，通过VMware打开虚拟机文件，将虚拟机名字修改为文件夹名字（为了好区分）:

2. 启动虚拟机

由于虚拟机是通过复制出另一台虚拟机得来的，所以其MAC地址是相同的。在使用VMware打开复制后的虚拟机时，选择我已复制该虚拟机来告诉VMware需要重新生成一个新的MAC地址。

3. 修改复制虚拟机的配置信息

3.1 修改MAC地址

在第（一）篇中已经提到了如何修改MAC地址，由于比较重要这里再叙述一遍：

cat /etc/udev/rules.d/70-persistent-net.rules

查看最后一条的端口号以及MAC地址，然后修改ifcfg-eth0文件：

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

需要同时修改端口号，MAC地址和IP地址，IP地址可以按照之前设定的规则进行修改。

3.2 修改主机名

vi /etc/sysconfig/network

改写成之前设定的规则，比如以slave001为例：

3.3 重启生效

reboot

3.4 同样的操作步骤修改其他虚拟机

修改完成后，可以互相Ping对方的IP地址或者主机名来验证网络是否联通

4. 设置SSH免密登录

4.1 介绍

在第（二）篇中，我们已经安装了SSH服务。在这里说明一下为什么要进行SSH免密登录：

因为每次启动Hadoop都要输入密码来访问每台机器的DataNode，因为Hadoop集群往往很大，所以必须配置SSH免密登录。

由于集群中只有Master节点对所有节点进行访问，了解各个节点的状态信息，所以只需对Master做免密设置，我们搭建的是高可用集群，有两个Master，都需要生成自己的密钥，然后对所有节点包括自己传输密钥，下面我们将以master001为例：

4.2 生成密钥

ssh-keygen -t rsa -P ''

4.3 分发密钥

ssh-copy-id master001
ssh-copy-id master002
ssh-copy-id slave001
ssh-copy-id slave002
ssh-copy-id slave003

4.4 验证免密是否设置成功

4.5 重复操作设置master002

5. 安装Zookeeper

5.1 介绍

Zookeeper是一个为分布式应用提供一致性服务的软件，功能大体分为：配置维护、域名服务、分布式同步、组服务等。其在分布式集群中提供了对Master的管理和元数据的存储，一般为奇数台，通过选举机制来选取Master（关于选举机制后面有机会我会写一个专题），保证一台NN是active状态，另一台是standby状态。当active状态的NN宕掉后，选举出一个新的Master，新的Master通过实时更新的fsimage来恢复所有数据（关于Zookeeper的原理机制后面有机会会写一个专题）。

5.2 上传Zookeeper安装包

注意：我们只需要对salve节点进行操作。

使用Xftp工具将zookeeper-3.4.10.tar.gz安装文件上传到slave001的hadoop用户的software目录中，解压：

tar -zxf zookeeper-3.4.10.tar.gz

5.3 配置Zookeeper

进入到conf目录，复制出zoo.cfg文件，并修改。

cd software/zookeeper-3.4.10/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

改写快照存放目录：

插入服务器名称与地址，包括：服务器编号、地址、LF通信端口、选举端口：

其余参数默认不做修改，但是这里做一个简要的解释说明：

参数	说明
tickTime=2000	Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，默认是2s
initLimit=10	Zookeeper 接受客户端（Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳（tickTime）的时间长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间：10*2000=20 s
sysncLimit=5	标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间：5*2000=10s
dataDir	用于保存数据的目录，默认情况下将写数据的日志文件也存放于该目录
clientPort=2181	客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求，默认为2181
server.A=B：C：D	其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

然后，创建tmp/zookeeper文件夹

mkdir -p /home/hadoop/software/zookeeper-3.4.10/tmp/zookeeper
cd /home/hadoop/software/zookeeper-3.4.10/tmp/zookeeper

创建myid文件：

vi myid

插入

1

注意：Zookeeper集群中的节点需要获取myid文件内容来标识该节点，缺失则无法启动。

5.4 将文件传输到其余节点

cd ~/software/
scp -r zookeeper-3.4.10/ slave001:~/software/
scp -r zookeeper-3.4.10/ slave002:~/software/
scp -r zookeeper-3.4.10/ slave003:~/software/

然后修改slave002和slave003的myid文件：分别修改为 2， 3。
溜了，溜了，恰饭去。。。