MapReduce排序

本文介绍了如何利用MapReduce在Hadoop环境中实现大数据的排序。MapReduce默认对Key进行排序,通过将排序数据设为Key,可以达到排序目的。文中详细讲解了针对含有重复数值的排序技术实现,并给出了具体的代码示例。
摘要由CSDN通过智能技术生成

一:背景

数据排序是许多实际任务执行时需要完成的第一项工作,比如给销售额进行排名、求top N等操作都需要用到排序,使用MapReduce对数据进行简单排序思路是非常简单的。因为MapReduce本身就是支持排序的,MapReduce默认是对Key进行排序,我们可以将要排序的数据作为key进行输出就自动完成排序咯。


二:技术实现

#需求:现有如下数据,按从小到大进行排列

1
23
32
1
3
8
8
9
99
100

注:数据中有相同的数字,需要采用取巧的方法,保留相同的数据(见源代码)。


实现代码:

public class SimpleSortMapReduce {
	// 定义输入输出路径
	private static final String INPATH = "hdfs://liaozhongmin21:8020/sortFil
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值