实验十 Hadoop实验——MapReduce编程

实验十 Hadoop实验——MapReduce编程

• 实验目的
  1. 通过实验掌握基本的MapReduce编程方法。
  2. 通过操作MapReduce的实验，模仿实验内容，深入理解MapReduce的过程，熟悉MapReduce程序的编程方式。
• 实验环境

与实验五一致https://mp.csdn.net/editor/html/116616391，其他命令可参考实验六：https://mp.csdn.net/editor/html/116618050实验七https://mp.csdn.net/editor/html/116618050

• 试验内容

1. 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。

输入文件f1.txt的样例如下：

20150101     x

20150102     y

20150103     x

20150104     y

20150105     z

20150106     x

输入文件f2.txt的样例如下：

20150101     y

20150102     y

20150103     x

20150104     z

20150105     y

根据输入文件f1和f2合并得到的输出文件的样例如下：

20150101      x

20150101      y