MapReduce编程实例

实验目的

1. 搭建MapReduce编程模型
2. 配置Eclipse和Maven
3. Hadoop集群与启动顺序
4. MapReduce的WordCount应用
5. 书上代码练习
6. 学习编写一个MapReduce程序
   实验要求
7. 学会使用Maven创建一个工程项目
8. 配置好运行环境与运行条件
9. 结合上课课件自己输入WordCount程序
10. 运行并得出结果
    在Hadoop集群中提取运行结果
    五台独立的虚拟机
    主机之间有有效的网络连接，并已完成网络属性配置
    每台主机内存2G以上，磁盘50G
    所有主机上已安装Centos 7.4_64操作系统
    已完成Zookeeper集群的安装与部署
    所有主机已安装JDK
    软件版本：选用Hadoop的2.7.3版本，软件包名为hadoop-2.7.3.tar.gz
    集群规划：
    Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02，HDFS的数据节点、MapReduce的任务节点
    共用相同主机Cluster-03、Cluster-04、Cluster-05， 数据同步通信节点可以使用集群中的任意主机，但因为其存放的是元数据备份，所以一般不与主节点使用相同主机。
    高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为HDFS的数据节点和MapReduce的任务节点， 同时数据同步通信节点工作原理同Zookeeper类似， 需要三台或以上的奇数台主机，
    具体规划如下：

一、 搭建MapReduce编程模型
MapReduce编程实例-WordCount
二、配置Eclipse和Maven以及配置pom.xml依赖文件导入Hadoop配置文件、Hadoop集群与启动
四、 Hadoop-WEB验证
五、代码程序
WordCountApp.java
SortApp.javaSecondarySortApp.java六、使用mvn clean package-DskipTests打包成hadoop-1.0-SNAPSHOT.jar七、MapReduce词频统计编程实例提交MapReduce作业到集群运行八、MapReduce实现二次排序
浏览器查看