Hadoop集群的基本操作（一：HDFS操作及MapReduce程序练习）

实验 目的 要求

目的： 理解HDFS在Hadoop体系结构中的角色； 熟练使用HDFS操作常用的Shell命令； 了解Hadoop集群MapReduce程序的简单使用； （上传WordCount的jar执行程序；使用WordCount进行MapReduce计算） 要求： 完成Hadoop的高可用完全分布模式的安装； Hadoop的相关服务进程能够正常的启动； HDFS能够正常的使用； MapReduce示例程序能够正常运行；

实 验 环 境                                         实 验 环 境

五台独立PC式虚拟机。 主机之间有有效的网络连接 每台主机内存2G以上，磁盘50G。 所有主机上安装CentOS7-64位操作系统。 所有主机已完成网络属性配置 所有主机已安装JDK 已完成Hadoop平台的搭建；   集群规划：           * Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点,其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02,HDFS的数据节点、MapReduce的任务节点共用相同主机Cluster-03、Cluster-04,Cluster-05,数据同步通信节点可以使用集群中的任意主机,但因为其存放的是元数据备份,所以一般不与主节点使用相同主机。 *高可用完全分布模式中需要满足主节点有备用的基本要求, 所以需要两台或以上的主机作为主节点,而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求,所以需要两台或以上的主机作为HDFS的数据节点和MapReduc