1、流量统计项目案例
1.1、数据样例
数据样本:
1363157984040 13602846565 5C-0E-8B-8B-B6-00:CMCC 120.197.40.4 2052.flash2-http.qq.com 综合门户 15 12 1938 2910 200
字段释义:
1.2、需求
1、 统计每一个用户(手机号)所耗费的总上行流量、总下行流量,总流量
2、 得出上题结果的基础之上再加一个需求:将统计结果按照总流量倒序排序
3、 将流量汇总统计结果按照手机归属地不同省份输出到不同文件中
2、MapReduce 中的 Combiner
2.1、什么是 Combiner
Combiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件,它的作用是在 maptask 之后给 maptask 的结果进行局部汇总,以减轻 reducetask 的计算负载,减少网络传输
2.2、如何使用 Combiner
Combiner 和 Reducer 一样,编写一个类,然后继承 Reducer,reduce 方法中写具体的 Combiner 逻辑,然后在 job 中设置 Combiner 组件:job.setCombinerClass(FlowSumCombine.class)
public static class FlowSumCombine extends Reducer<Text, FlowBean, Text, FlowBean> {
FlowBean v = new FlowBean();
// combiner 的逻辑和 reducer 的逻辑一样
@Override
protected void reduce(Text key, Iterable<FlowBean> values,
Context context) throws InterruptedException, IOException {
long upFlowCount = 0;
long downFlowCount = 0;
for (FlowBean bean : values) {
upFlowCount += bean.getUpfFlow();
downFlowCount += bean.getDownFlow();
}
v.set(key.toString(), upFlowCount, downFlowCount);
context.write(key, v);
}
}
2.3、使用 Combiner 注意事项
1、Combiner 和 Reducer 的区别在于运行的位置:
Combiner 是在每一个 MapTask 所在的节点运行
Reducer 是接收全局所有 Mapper 的输出结果
2、Combiner 的输出 kv 类型应该跟 Reducer 的输入 kv 类型对应起来
Combiner 的输入 kv 类型应该跟 Mapper 的输出 kv 类型对应起来
3、Combiner 的使用要非常谨慎,因为 Combiner 在 MapReduce 过程中可能调用也可能不调 用,可能调一次也可能调多次,所以:
Combiner 使用的原则是:有或没有都不能影响业务逻辑,都不能影响最终结果
3、MapReduce 中的序列化
3.1、概述
Java 的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额 外的信息(各种校验信息,header,继承体系等),不便于在网络中高效传输;所以,Hadoop 自己开发了一套序列化机制(参与序列化的对象的类都要实现 Writable 接口),精简,高效
Hadoop 中的序列化框架已经对基本类型和 null 提供了序列化的实现了。分别是:
3.2、Java 序列化
以案例为例说明:
3.3、自定义对象实现 MapReduce 框架的序列化
如果需要将自定义的 bean 放在 key 中传输,则还需要实现 Comparable 接口,因为 MapReduce 框中的 shuffle 过程一定会对 key 进行排序,此时,自定义的 bean 实现的接口应该是:
public class FlowBean implements WritableComparable<FlowBean>
以案例为例说明 下面是进行了序列化的 FlowBean 类: