大数据hadoop入门案例3--对手机号码排序

大数据hadoop入门案例–对手机号码排序

1.排序

MapTask和ReduceTask均会对数据按 照key进行排序。因此在实现排序任务时,需要将排序数据传入Key中。

默认排序是按照字典顺序排序,且实现该排序的方法是快速排序。

1.部分排序:MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序。

2.最终输出结果只有一个文件,且文件内部有序。实现方式是只设置一个ReduceTask。

3.在自定义排序过程中,如果compareTo中的判断条件为两个即为二次排序。

2.代码

bean 对象做为 key 传输,需要实现 WritableComparable 接口重写 compareTo 方法,就可以实现排序。
在Mapper文件中输出<key,value>转化为<FlowBean,Text>形式,Reducer输入<FlowBean,Text>形式,输出<Text,FlowBean>形式。
最后在Driver中加载驱动。

2.1FlowBean 序列化代码

使用二次排序,就是在第一次排序的基础上再增加一个判断条件。


package 
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值