MapReduce实际案例、MapReduce参数、yarn集群

MapReduce实际案例

GroupingComparator求取top1

需求
求出每一个订单中成交金额最大的一笔交易
分析
1、利用“订单id和成交金额”作为key，可以将map阶段读取到的所有订单数据按照id分区，按照金额排序，发送到reduce
2、在reduce端利用groupingcomparator将订单id相同的kv聚合成组，然后取第一个即是最大值
代码实现

• 第一步：定义OrderBean
  定义一个OrderBean，里面定义两个字段，第一个字段是我们的orderId，第二个字段是我们的金额（注意金额一定要使用Double或者DoubleWritable类型，否则没法按照金额顺序排序）

public class OrderBean implements WritableComparable<OrderBean> {
   
    private String orderId;
    private Double price;
    @Override
    public int compareTo(OrderBean o) {
   
        //比较订单id的排序顺序
        int i = this.orderId.compareTo(o.orderId);
        if(i==0){
   
          //如果订单id相同，则比较金额，金额大的排在前面
           i = - this.price.compareTo(o.price);
        }
        return i;
    }
    @Override
    public void write(DataOutput out) throws IOException {
   
            out.writeUTF(orderId);
            out.writeDouble(price);
    }
    @Override
    public void readFields(DataInput in) throws IOException {
   
        this.orderId =  in.readUTF();
        this.price = in.readDouble();
    }
    public OrderBean() {
   
    }
    public OrderBean(String orderId, Double price) {
   
        this.orderId = orderId;
        this.price = price;
    }
    public String getOrderId() {
   
        return orderId;
    }
    public void setOrderId(String orderId) {
   
        this.orderId = orderId;
    }
    public Double getPrice() {
   
        return price;
    }
    public void setPrice(Double price) {
   
        this.price = price;
    }
    @Override
    pu