Hodoop集群搭建(四) Hadoop 高可用集群模式安装

一、Hadoop HA集群模式安装

1、实验目的

1、完成hadoop高可用完全分布模式的安装
2、Hadoop的相关服务服务进程能够正常启动
3、HDFS能够正常使用
4、Mapreduce示例程序能够正常运行

2、实验环境

1、五台独立虚拟机
2、主机之间有效的网络连接
3、每台主机内存2G以上，磁盘剩余空间500M以上
4、所有主机已安装centOS 7.4操作系统
5、所有主机已完成网络属性配置
6、所有主机已安装jdk
7、已完成zookeeper集群的安装和部署

3、软件版本

选用Hadoop的2.7.3版本，软件包名为hadoop-2.7.3.tar.gz

4、实验过程

一、Hadoop基本安装配置
该项操作均在集群用户admin下进行，只在一台主机上进行操作其他的主机进行同步安装与步骤
1、新建目录，将Hadoop软件包解压至新建目录下，再进行环境变量配置

2、配置Hadoop相关的环境变量

3、使环境变量立即生效
查看是否配置成功

二、Hadoop高可用完全分布模式配置
所有操作使用专门用于集群用户admin进行
1、新建目录，拷贝生成zookeeper的配置文件

2、进入hadoop配置文件所在位置修改配置文件

3、修改core-site.xml文件

4、修改hdfs-site.xml文件


5、对配置文件进行修改
//输入命令 cp mapred-site.xml.template mapred-site.xml
由模板文件拷贝生成配置文件“mapred-site.xml”

6、对yarn-env.sh配置文件进行修改

7、对yarn-site.xml配置文件进行修改

8、对shaves文件进行修改

三、同步安装和配置
该项的所有操作步骤使用专门用于集群的用户admin进行。
1、将“hadoop”目录和‘.bash_ profile" 文件发给集群中所有主机，发送目标用户为集群专用用户admin,发送目标路径为“/home/admin”，即集群专用用户admin的家目录。




查看是否配置成功




四、Hadoop高可用完全分布模式格式化和启动
所有操作使用专门用于集群用户admin进行格式化内容不可多次执行
1、在所有同步通信节点的主机执行，启动同步通信服务，然后使用命令“jps"查看Java进程信息，若有名为“JournalNode"的进程，则表示同步通信节点启动成功。本操作只在第-一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行。



2、在主节点对HDFS进行格式化，若格式化过程中没有报错则表示格式化成功。
注：本操作只在第一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行，也不可多次进行格式化。

3、格式化完成后将“hadoop"目录下的“name"目录发给集群中所有备用主节点的主机，发送目标用户为集群专用用户admin,即当前与登录用户同名的用户，发送目标路径为“home/admin/hadoop" ，即集群专用用户admin家目录下的Hadoop相关文件的目录。

4、查看集群中所有主机的工作状态。如果集群中只有一个“leader”节点，其余的均为“follower”节点，则表示集群的工作状态正常。





5、在主节点使用命令,对Hadoop集群在Zookeeper中的主节点切换控制信息进行格式化，若格式化过程中没有报错则表示格式化成功。格式化之前确保集
群中各主机Zookeeper开启。


6、在所有同步通信节点的主机，使用此命令，关闭同步通信服务。



7、在主节点启动hadoop

8、在备用主节点启动yarn服务

9、在主节点使用命令“jps’”查看Java进程信息，若有名为“NameNode"、“ ResourceManager”、“DFSZKFailoverController"的三个进程，则表示Hadoop集群的主节点启动成功。

10、使用命令“ssh目标主机名或IP地址”远程登录到所有数据节点主机，使用命令“jps" 查看Java进程信息，若有名为“DataNode"、“NodeManager"、“ JournalNode"的三个进程，则表示Hadoop集群的数据节点启动成功。

五、Hadoop高可用完全分布模式验证
1、在hadoop中创建当前登录用户自己的目录

2、运行使用蒙地卡罗法计算PI的实例程序

5、实验心得

本次实验出现的问题，有两个原因，一是粗心，二是没有仔细的查看执行命令后存在的错误。以下是对本次实验的心得：
（1）要有耐心，在命令输入完后进行重复检查，与PPT核对究竟是在那个主机上执行。
（2）出现错误不能放过，会导致后期任务出错，使前面的工作功亏一篑。
（3）遇到错误要冷静，仔细检查并且通过询问老师和同学找出错误在哪，最后才能得到解决。