MapReduce实战练习一：手机流量统计

最新推荐文章于 2024-05-06 18:24:51 发布

BestbpF

最新推荐文章于 2024-05-06 18:24:51 发布

阅读量2.5k

点赞数 1

分类专栏： Hadoop 文章标签： mapreduce

本文链接：https://blog.csdn.net/qq_34764487/article/details/78022513

版权

该博客介绍了使用MapReduce进行手机流量统计的实战案例。首先，需求包括分析手机号的上行和下行流量，并按省份统计。接着，通过自定义Partitioner将数据分区到五个省，最后对所有数据按总流量降序排序。内容涵盖了Mapper、Reducer、Partitioner类的实现以及Driver的运行结果。

摘要由CSDN通过智能技术生成

需求如下：
1、给定一份运营商的手机号数据情况，其中包含上行流量和下行流量
2、将手机号以及流量情况按照不同省份统计出来
3、将所有数据根据总流量大小递减排序统计出来
具体数据如下图，倒数第三位和第二位分别为上行，下行流量，数据之间用tab间隔

实体类：

//实体类FlowBean封装上下行流量以及总流量
package com.bpf.flowsSum;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

//实现WritableComparable进行相关序列化以及最后根据总流量排序
public class FlowBean implements WritableComparable<FlowBean> {

    private long upFlow;
    private long downFlow;
    private long sumFlow;
    
    //反序列化时。需要反射调用一个空构造函数
    public FlowBean() {};
    
    public FlowBean(long upFlow, long downFlow) {
        this.upFlow = upFlow;
        this.downFlow = downFlow;
        this.sumFlow = upFlow + downFlow;
    }
    
    public void set(long upFlow, long downFlow) {
        this.upFlow = upFlow;
        this.downFlow = downFlow;
        this.sumFlow = upFlow + downFlow;
    }
    
    public long getUpFlow() {
        return upFlow;
    }
    public void setUpFlow(long upFlow) {
        this.upFlow = upFlow;
    }
    public long getDownFlow() {
        return downFlow;
    }
    public void setDownFlow(long downFlow) {
        this.downFlow = downFlow;
    }   
    public long getSumFlow() {
        return sumFlow;
    }

    public void setSumFlow(long sumFlow) {
        this.sumFlow = sumFlow;
    }

    //序列化
    @Override
    public void write(DataOutput out) throws IOException {
        // TODO Auto-generated method stub
        out.writeLong(upFlow);
        out.writeLong(downFlow);
        out.writeLong(sumFlow);
    }
    
    //反序列化
    @Override
    public void readFields(DataInput in) throws IOException {
        // TODO Auto-generated method stub
        upFlow = in.readLong();
        downFlow = in.readLong();
        sumFlow = in.readLong();
    }

    @Override
    public String toString() {
        return upFlow + "\t"

最低0.47元/天解锁文章