分组TOP-N的mpreduce高效实现（采用了排序控制、分区控制、分组控制）

最新推荐文章于 2023-10-24 14:48:30 发布

置顶

林东平

最新推荐文章于 2023-10-24 14:48:30 发布

阅读量419

点赞数 2

分类专栏： hadoop

本文链接：https://blog.csdn.net/ldpKing/article/details/84445239

版权

本文介绍了一种高效实现分组求TOP-N的方法，通过MapReduce框架，结合排序控制、分区控制和分组控制来实现。具体操作包括自定义`OrderIdPartitioner`保证相同订单id的数据发送至同一reduce task，使用`OrderBean`类进行数据比较和排序，以及定制`OrderIdGroupingComparator`确保正确分组。最后，通过`OrderTopnMapper`、`OrderTopnReducer`和JobSubmitter类完成任务提交。

摘要由CSDN通过智能技术生成

需求：有如下数据，求出每一个订单id中成交金额最大的三笔交易（字段分别为：订单id，用户id，商品名称，单价，数量），即分组求TOP-N。

order001,u001,小米6,1999.9,2

order001,u001,雀巢咖啡,99.0,2

order001,u001,安慕希,250.0,2

order001,u001,经典红双喜,200.0,4

order001,u001,防水电脑包,400.0,2

order002,u002,小米手环,199.0,3

order002,u002,榴莲,15.0,10

order002,u002,苹果,4.5,20

order002,u002,肥皂,10.0,40

实现思路：

map：读取数据切分字段（用逗号切分），封装数据到一个OrderBean对象中作为key传输，key要按照成交金额比大小

reduce：利用自定义GroupingComparator将数据按订单id进行分组，然后在reduce方法中输出每组数据的前N条即可

（1）首先需要保证的是让orderid相同的数据发送给相同的reduce task，如果同一个订单没有发送到同一个reduce task，那么排序为局部排序，没有意义。为了完成此目的，需要继承Partitioner类自定义一个OrderIdPartitioner类。（未自定义前是按照key的哈希值进行分区，本例中key为OrderBean对象，不同对象的哈希值肯定不同）。我们需要做的是按照OrderBean对象的orderid分区。

OrderIdPartitioner类代码如下：

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Partitioner;

public class OrderIdPartitioner extends Partitioner<OrderBean, NullWri