hadoop groupingComparator 与 secondary sort
《hadoop权威指南》里的例子:有许多气象记录,需要找出每年的最高温度,通过secondary sort实现。(这个任务其实简单的map-reduce就可以完成,这里只是为了演示secondary sort)
map-reduce的shuffle阶段,只会根据key进行排序,而同一个key的value是无序的,所以要把年份和温度都放在key里面。map的输出:key为year-temperat
原创
2015-03-18 12:15:18 ·
1319 阅读 ·
0 评论