该博客介绍如何对日志数据中的上下行流量信息进行汇总，并按分区统计。通过自定义Partitioner实现MapReduce任务中数据的分发规则，确保流量统计数据能根据归属地分发到对应省级文件，便于查询。文中列举了部分日志样例，并提到接下来会创建reducer进行详细处理。
需求：
对日志数据中的上下行流量信息汇总---分区统计
根据归属地输出流量统计数据结果到不同文件，以便于在查询统计结果时可以定位到省级范围进行
分析：Mapreduce中会将map输出的kv对，按照相同key分组，然后分发给不同的reducetask
默认的分发规则为：根据key的hashcode%reducetask数来分发
所以：如果要按照我们自己的需求进行分组，则需要改写数据分发（分组）组件Partitioner
自定义一个CustomPartitioner继承抽象类：Partitioner
然后在job对象中，设置自定义partitioner： job.setPartitionerClass(CustomPartitioner.class)
1363157985066 137262
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
