基于JAVA语言编写MapReduce进行流量统计

首先来看下我们的数据
在这里插入图片描述注意:每个数据之间是以\t分割的。
每一行数据分别对应:手机号,IP地址,访问网址,上传流量,下载流量,状态码
任务:总计每个手机号的总上传和下载流量
java编写MapReduce程序,主要分为两大类
在这里插入图片描述
Mapper类

package com.zlj.mrtest.flowcount;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class FlowCountMapper extends Mapper<LongWritable, Text, Text, Text>
{
   
	/**
	 * 这个context可以存储一些job conf的信息
	 * 同时context作为了map和reduce执行中各个函数的一个桥梁,这个设计和java
	 */
	@Override
	protected void map(LongWritable key, Text value,Context context)
			throws IOException, InterruptedException
	{
   
		//对数据进行切分
		String line = value.toString();
		String[] files = line.split("\t");
		//获取手机号码
		String phone = files[1];
		//获取下载流量
		String upflow = files[files.length - 3
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值