MapReduce -----2.MapReduce 常用三大组件

1、流量统计项目案例

1.1、数据样例

数据样本：

1363157984040 13602846565 5C-0E-8B-8B-B6-00:CMCC 120.197.40.4 2052.flash2-http.qq.com 综合门户 15 12 1938 2910 200

字段释义：

1.2、需求 

1、 统计每一个用户（手机号）所耗费的总上行流量、总下行流量，总流量

2、 得出上题结果的基础之上再加一个需求：将统计结果按照总流量倒序排序

3、 将流量汇总统计结果按照手机归属地不同省份输出到不同文件中

2、MapReduce 中的 Combiner

2.1、什么是 Combiner

Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件，它的作用是在 maptask 之后给 maptask 的结果进行局部汇总，以减轻 reducetask 的计算负载，减少网络传输

2.2、如何使用 Combiner

Combiner 和 Reducer 一样，编写一个类，然后继承 Reducer，reduce 方法中写具体的 Combiner 逻辑，然后在 job 中设置 Combiner 组件：job.setCombinerClass(FlowSumCombine.class)

public static class FlowSumCombine extends Reducer<Text, FlowBean, Text, FlowBean> {
    FlowBean v = new FlowBean();
    // combiner 的逻辑和 reducer 的逻辑一样
    @Override
    protected void reduce(Text key, Iterable<FlowBean> values,
            Context context) throws InterruptedException, IOException {
        long upFlowCount = 0;
        long downFlowCount = 0;
        for (FlowBean bean : values) {
            upFlowCount += bean.getUpfFlow();
            downFlowCount += bean.getDownFlow();
        }
        v.set(key.toString(), upFlowCount, downFlowCount);
        context.write(key, v);
    }
}

2.3、使用 Combiner 注意事项

1、Combiner 和 Reducer 的区别在于运行的位置：

Combiner 是在每一个 MapTask 所在的节点运行

Reducer 是接收全局所有 Mapper 的输出结果

2、Combiner 的输出 kv 类型应该跟 Reducer 的输入 kv 类型对应起来

Combiner 的输入 kv 类型应该跟 Mapper 的输出 kv 类型对应起来

3、Combiner 的使用要非常谨慎，因为 Combiner 在 MapReduce 过程中可能调用也可能不调 用，可能调一次也可能调多次，所以：

Combiner 使用的原则是：有或没有都不能影响业务逻辑，都不能影响最终结果

3、MapReduce 中的序列化

3.1、概述

Java 的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额 外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输；所以，Hadoop 自己开发了一套序列化机制（参与序列化的对象的类都要实现 Writable 接口），精简，高效

Hadoop 中的序列化框架已经对基本类型和 null 提供了序列化的实现了。分别是：

3.2、Java 序列化

以案例为例说明:

 

3.3、自定义对象实现 MapReduce 框架的序列化

如果需要将自定义的 bean 放在 key 中传输，则还需要实现 Comparable 接口，因为 MapReduce 框中的 shuffle 过程一定会对 key 进行排序，此时，自定义的 bean 实现的接口应该是：

public class FlowBean implements WritableComparable<FlowBean>

 以案例为例说明 下面是进行了序列化的 FlowBean 类：