MapReduce统计流量案例(分区+排序)基本实现

最新推荐文章于 2024-07-17 09:36:32 发布

swx7410852963

最新推荐文章于 2024-07-17 09:36:32 发布

阅读量540

点赞数

分类专栏： # Hadoop 脑图外链文章标签： hadoop mapreduce java

本文链接：https://blog.csdn.net/swx7410852963/article/details/122232437

版权

输入数据

手机号总上行流量总下行流量总流量

11136230513	500	500	1000
11111111111	600	500	1100
12959002129	1938	180	2118
19943685818	3659	3538	7197
22246544121	300	250	550
22256435636	250	250	500
33366251146	240	0	240
33371575951	1527	2106	3633
33388413456	4116	1432	5548

代码说明

请参考 MapReduce统计流量案例(自定义排序-全排序)基本实现中代码，修改部分修改部分在本文已写，替换即可。

自定义Patition类(myPartition)

package com.test.mapreduce.comparableAndpartition;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class myPartition extends Partitioner<FlowBean, Text> {

    @Override
    public int getPartition(FlowBean flowBean, Text text, int i) {
        // 获取手机号
        String phone = text.