hadoop mr 辅助排序

最新推荐文章于 2022-09-06 08:47:39 发布

领悟大数据

最新推荐文章于 2022-09-06 08:47:39 发布

阅读量223

点赞数 1

分类专栏： hadoop 文章标签：辅助排序

本文链接：https://blog.csdn.net/weixin_42898914/article/details/84891348

版权

该博客介绍了如何使用Hadoop MapReduce实现辅助排序，以解决订单数据中每个订单最贵商品的问题。通过自定义OrderBean类进行数据表示，重写compareTo方法实现排序规则。Mapper将订单数据转换为OrderBean，Partitioner进行分区，而GroupingComparator完成按订单ID的分组排序，Reducer则输出每个订单的最贵商品。最终通过OrderDriver启动并运行Job。

摘要由CSDN通过智能技术生成

辅助排序
需求：订单数据
求出每个订单中最贵的商品？

订单id正序，成交金额倒序。
结果文件三个，每个结果文件只要一条数据

   public class OrderBean implements WritableComparable<OrderBean>{
       private int order_id;
       private double price;

public OrderBean(){}

       public OrderBean(int order_id,double price){
           this.order_id = order_id;
           this.price = price;
       }

getter;
setter;

       //序列化
       @Override
       public void write(DataOutput out) throws IOException{
           out.write(order_id);
           out.write(price)
       }
       //反序列化
       @Override
       public void readFields(DataInput in) throws IOException{
           order_id = in.readInt();
           price = in.readDouble()<