Hadoop之Hadoop

【实验目的】

1.Hadoop的高可用完全分布模式的安装和验证；

【实验要求】

1.完成Hadoop的完全分布模式的安装；
2.Hadoop的相关服务进程能够正常的启动；
3.HDFS能够正常使用；
4.MapReduce实例程序能够正常运行；

【实验环境】

虚拟机硬件配置：
五台独立PC机或虚拟机
主机之间有效的网络连接
每台主机内存2G以上，磁盘50G
所有主机上安装CentOS7.4_64操作系统
所有主机已完成网络属性配置
所有主机已安装JDK
已完成Zookeeper集群的安装和部署
软件版本：
选用Hadoop的2.7.3版本，软件包名Hadoop-2.7.3.tar.gz
集群规划：
Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02，HDFS的数据节点、MapReduce的任务节点共用相同主机Cluster-03、Cluster-04、Cluster-05，数据同步通信节点可以使用集群中的任意主机，但因为其存放的是元数据备份，所以一般不与主节点使用相同主机。
高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为HDFS的数据节点和MapReduce的任务节点ÿ