Day--3 手机流量统计项目：Java MapReduce 实现

在移动互联网时代，手机流量的使用情况对用户和运营商都具有重要意义。本文将介绍如何利用大数据技术，通过一个手机流量统计项目来分析和处理手机流量数据，实现对每个手机号上行流量、下行流量及总流量的统计，并根据手机号前缀将统计结果输出到不同的文件中。

项目需求概述

本项目旨在实现以下目标：

• 统计每个手机号的上行流量、下行流量及总流量（上行流量加下行流量）。
• 根据手机号的前缀（如13、15或其他），将统计结果分类输出到不同的文件中。

数据源为access.log文件，其中包含手机号、上行流量和下行流量等信息。

技术实现思路

项目的技术实现将基于Hadoop MapReduce框架，分为以下几个步骤：

1. 自定义Access类：创建一个包含手机号、上行流量、下行流量和总流量属性的Access类。
2. Map任务类开发：编写Map类，用于解析每一行日志数据，提取手机号、上行流量和下行流量，并以手机号为键，Access对象为值输出。
3. Reduce任务类开发：编写Reduce类，对每个手机号的流量数据进行汇总，输出汇总后的流量信息。
4. 分区处理类编写：创建自定义分区类，根据手机号前缀将数据分配给不同的Reducer任务，以实现不同输出文件的分类。

MapReduce实现细节

Mapper

Mapper的任务是解析日志文件的每一行，提取出手机号、上行流量和下行流量，并将这些信息封装到Access对象中。Mapper的输出将是手机号作为键，Access对象作为值。

Reducer

Reducer将接收Mapper输出的相同手机号的所有Access对象，并对这些对象的上行流量和下行流量进行累加求和，最终生成每个手机号的总流量。

Partitioner

自定义分区类将根据手机号的前缀将数据分配给不同的Reducer任务。例如，“13”开头的手机号分配给第一个Reducer，以此类推。

实际日志数据样例

日志文件access.log包含了一系列的记录，每条记录都包含了时间戳、手机号、设备信息、IP地址、网址、流量数据等字段。例如：

1363157985066       13726230503   00-FD-07-A4-72-B8:CMCC   120.196.100.82   i02.c.aliimg.com   24   27   2481   24681   200

在这个记录中，我们可以清晰地看到手机号为13726230503，上行流量为24，下行流量为27。

开发步骤与代码实现

1. 自定义 Access 类

首先，我们定义一个 Access 类来存储手机号及其流量数据。

public class Access {
   
    private String phoneNumber;
    private long upFlow;
    private long downFlow;
    private long totalFlow;

    public Access(String phoneNumber, long upFlow, long downFlow) {
   
        this.phoneNumber = phoneNumber;
        this.upFlow = upFlow;
        this.downFlow = downFlow;
        this.totalFlow = upFlow + downFlow;
    }

    // Getters and Setters
}

2. 自定义 Map 任务类