Hadoop

【实验目的】

1.理解HDFS在Hadoop体系结构中的角色;
2.熟练使用HDFS操作常用的Shell命令;
3.了解Hadoop集群MapReduce程序的简单使用

【实验平台】

1.操作系统:Linux
2.Hadoop版本:1.2.1或以上版本
3.JDK版本:1.6或以上版本

【实验环境】

虚拟机硬件配置：
一台独立PC机或虚拟机
每台主机内存2G以上，磁盘剩余空间300M以上
已安装CentOS 7.2操作系统
已安装JDK
已完成Hadoop平台的搭建

集群规划：
Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02，HDFS的数据节点、MapReduce的任务节点共用相同主机Cluster-03、Cluster-04、Cluster-05，数据同步通信节点可以使用集群中的任意主机，但因为其存放的是元数据备份，所以一般不与主节点使用相同主机。
高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为HDFS的数据节点和MapReduce的任务节点，同时数据同步通信节点工作原理同Zookeeper类似，需要三台或以上的奇数台主机，具体规划如下: