
排序
zerone-f
这个作者很懒,什么都没留下…
展开
-
使用Hadoop的MapReduce实现数据排序
最近想系统学习大数据知识,在观看视频编写代码的时候,在数据排序的时候,出现了一些问题,一致于弄了好久才找到原因,现在记录下来,方便查看数据输入格式:按照我的代码逻辑,应该输出数据为在代码处理时,计算结果却是没有输出输入的数据,而是输出最后保存在HDFS上的数据只是1 12 23 34 45 56 67 7...原创 2018-10-06 16:20:33 · 15509 阅读 · 4 评论 -
Hadoop MapReduce二次排序算法与实现之实现
转自:一起学Hadoop——二次排序算法的实现二次排序,从字面上可以理解为在对key排序的基础上对key所对应的值value排序,也叫辅助排序。一般情况下,MapReduce框架只对key排序,而不对key所对应的值排序,因此value的排序经常是不固定的。但是我们经常会遇到同时对key和value排序的需求,例如Hadoop权威指南中的求一年的高高气温,key为年份,value为最高气温,年...转载 2018-10-08 16:16:59 · 1586 阅读 · 1 评论