hadoop温度排序

该博客介绍了如何使用Hadoop进行自定义排序、分区和分组,以计算1949-1955年每年的最高温度。在Mapper阶段,按照年份升序和当年温度降序进行排序;在Reduce阶段,按照年份分组,每个年份对应一个Reduce任务。通过这个过程,博主展示了处理历史气候数据的一种方法。
摘要由CSDN通过智能技术生成
  • 计算1949-1955年,每年温度最高的时间
  • 思路分析
    ①Mapper,按照年份升序排序,同时每年的温度降序
    ②Reduce,按照年份分组, 每年对应一个reduce任务
  1. Hadoop中如何自定义排序,自定义分区,自定义分组。  
  2.   
  3. --需求:  
  4. 1.计算在1949-1955年,每年温度最高的时间  
  5. 2.计算在1949-1955年,每年温度最高前十天  
  6.   
  7. --思路:  
  8. 1.按照年份升序,同时每一年中温度降序排序  
  9. 2.按照年份分组,每一年对应一个reduce任务  
  10. mapper输出,key为封装对象。  
  11.   
  12. --目的:  
  13. 自定义排序  
  14. 自定义分区  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值