本文介绍了如何利用Hadoop的MapReduce进行大规模数据的全局排序。通过采样器预估边界，设置Partition确保各分区内部有序，再通过多轮MapReduce实现数据的最终有序。总结了应用Hadoop进行数据排序的步骤、注意事项和Hadoop计算模型的优势。
本文主要讲对key的排序，主要利用hadoop的机制进行排序。
1、Partition
partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。
2、思路
由于每个partition内部是有序的，所以只要保证各partition间有序，即可保证全部有序。
3、问题
有了思路，如何定义partition的边界，这是个问题。
解决办法：hadoop提供了一个采样器帮我们预估整个边界，以使数据的分配尽量平均
引用：http://stblog.baidu-tech.com/?p=397
2. Hadoop应用实例：大规模数据的排序
Hadoop平台没有提供全局数据排序，而在大规模数据处理中进行数据的全局排序是非常普遍的需求。大量的将大规模数据任务切分
最低0.47元/天 解锁文章
扫一扫
2978
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
