Hadoop学习笔记[8]-MapReduce样例程序

Hadoop学习笔记[8]-MapReduce样例程序

  写几个MR的小程序吧

1、WordCount

  传说中分布式计算领域的Hello Word，就是单词计数，北京和题干就不介绍了

2、分组取Top N

要求如下

有如下的数据集：
2019-06-01 00:00:00#32
2019-05-21 00:00:00#33
2019-06-01 12:00:00#33
2019-06-02 00:00:00#31
2018-03-11 00:00:00#18
2018-04-23 00:00:00#22
1970-08-23 00:00:00#23
2019-08-08 00:00:00#32
第一列是日期，第二列是温度，需要从数据集中获取每个月气温最高的两条

思路

• 1)、Map的输入就是一行一条记录，Reduce的输入是相同的Key为一组，要统计每个月气温最高的两天，所以必须保证所有相同年月的数据最后到一个reduce任务【也就是map任务需要将相同年月的数据输出到一个分区】，所以需要自己实现Map端的分区器
• 2)、分区有了，在Map任务输出时会对分区和Key进