shuffle(GroupingComparator分组(辅助排序))

本文详细介绍了如何使用MapReduce进行数据分组排序,通过自定义GroupingComparator实现按照订单ID和金额的复合排序。首先,自定义类继承WritableComparator并重写compare方法。接着,展示了一组输入数据及其期望的输出结果。在需求分析部分,明确了按订单ID升序、金额降序排序的目标,并解释了在Reduce阶段如何利用groupingComparator聚合订单数据。最后,给出了包括OrderBean、OrderMapper、OrderGroupingComparator、OrderReducer和OrderDriver在内的完整代码实现流程。
摘要由CSDN通过智能技术生成

对Reduce阶段的数据根据某一个或几个字段进行分组。

分组排序步骤:

(1)自定义类继承WritableComparator

(2)重写compare()方法

package com.grouping;

import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/**
 * 按照订单编号对数据进行分组
 */
public class OrderComparator extends WritableComparator {
    //建立两个OrderBean的空对象
    protected OrderComparator() {
        super(OrderBean.class,true);
    }

    /**
     * 分组比较方法,按照相同订单进入一组进行比较
     * @param a
     * @param b
     * @return
     */
    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        OrderBean a1 = (OrderBean) a;
        OrderBean b1 = (OrderBean) b;

        return a1.getOrderId().compareTo(b1.getOrderId());
    }
}

 GroupingComparator分组案例实操

订单id

商品id

成交金额

0000001

Pdt_01

222.8

Pdt_02

33.8

0000002

Pdt_03

522.8

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值