Mapreduce

实验目的：
 搭建MapReduce编程模型
 配置Eclipse和Maven
 Hadoop集群与启动顺序
 MapReduce的WordCount应用
 书上代码练习
 学习编写一个MapReduce程序

实验要求：
 学会使用Maven创建一个工程项目
 配置好运行环境与运行条件
 结合上课课件自己输WordCount程序代码
 运行并得出结果
 在Hadoop集群中提取运行
 还原课本案例
 完成排序与二次排序的操作

实验环境：
 一台独立PC机或虚拟机
 已安装JDK
 已完成Hadoop平台的搭建
 已完成Eclipse安装成功
 已完成Maven

一、搭建mapreduce编程模型
1、新建mapreduce工程项目

2、配置pom.xml依赖文件

3、导入hadoop配置文件

4、启动Hadoop集群
5、查看节点状态

6、新建WordCountApp.java



7、新建SortApp.java

8、新建IntPair.java

9、新建SecondrySort.java

10、使用mvn clean package -DskipTests打包成hadoop-1.0-SNAPSHOT.jar

11、查看打包是否成功

12、将jar包上传/home/admin/hadoop-2.7.3/share/hadoop/mapreduce/下

二、MapReduce词频统计编程实例
1、将测试数据上传到HDFS目录中。

2、提交MapReduce作业到集群运行

3、查看作业输出结果。


三、使用MapReduce实现排序
1、将测试测试数据上传到HDFS目录中。
Hadoop fs -mkdir /sort
Hadoop fs sort.txt /sort



2、提交MapReduce作业到集群运行。

3、查看作业输出结果。

一、四、使用MapReduce实现二次排序
1、提交作业到集群运行。
将测试数据上传到HDFS目录中。


2、提交MapReduce作业到集群运行。

3、查看作业输出结果。

4、浏览器查看