Hadoop学习笔记[8]-MapReduce样例程序
写几个MR的小程序吧
1、WordCount
传说中分布式计算领域的Hello Word,就是单词计数,北京和题干就不介绍了
2、分组取Top N
要求如下
有如下的数据集:
2019-06-01 00:00:00#32
2019-05-21 00:00:00#33
2019-06-01 12:00:00#33
2019-06-02 00:00:00#31
2018-03-11 00:00:00#18
2018-04-23 00:00:00#22
1970-08-23 00:00:00#23
2019-08-08 00:00:00#32
第一列是日期,第二列是温度,需要从数据集中获取每个月气温最高的两条
思路
- 1)、Map的输入就是一行一条记录,Reduce的输入是相同的Key为一组,要统计每个月气温最高的两天,所以必须保证所有相同年月的数据最后到一个reduce任务【也就是map任务需要将相同年月的数据输出到一个分区】,所以需要自己实现Map端的分区器
- 2)、分区有了,在Map任务输出时会对分区和Key进