MapReduce
越努力越幸运!
心有多大,舞台就有多大。
展开
-
MapReduace原理
MapReduace:概述: MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量 数据的计算问题.MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数, 即可实现分布式计算,非常简单。这两个函数的形参是key、value对,表示函数的输入信息执行流程见下图:◆执行步骤:1.map任...原创 2019-07-29 20:20:19 · 581 阅读 · 0 评论 -
使用MapReduce统计每一个用户的使用总流量
有上图这样的文件,需要统计每个用户使用的上行总流量,下行总流量和总流量第一步:创建一个用户类如下:package com.zut.flow;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;...原创 2019-07-29 21:38:56 · 1515 阅读 · 0 评论