MapReduce流程简单解析

 1、MapReduce简介

源自于google的MapReduce论文,发表于2004年12月,HadoopMapReduce是google MapReduce 克隆版。MapReduce是一种计算模型,用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果。MapReduce这样的功能划分,非常适合在大量计算机组成的分布式并行环境里进行数据处理。



MapReduce工作流程图

2、MapReduce主要步骤叙述

Map阶段:

Step 1:读取输入文件的内容,并解析成键值对(<key, value>)的形式,输入文件中的每一行被解析成一个<key, value>对,每个<key, value>对调用一次map()函数。

Step 2:用户写map()函数,对输入的<key,value>对进行处理,并输出新的<key,value>对。

Step 3:对Step 2中得到的<key,value>进行分区操作。

Step 4:不同分区的数据,按照key值进行排序和分组,具有相同key值的value则放到同一个集合中。

Step 5(可选):分组后的数据进行规约。

Reduce阶段:

Step 1:对于多个map任务的输出,按照不同的分区,通过网络传输到不同的Reduce节点。

Step 2:对多个map任务的输出结果进行合并、排序,用户书写reduce函数,对输入的key、value进行处理,得到新的key、value输出结果。

Step 3:将reduce的输出结果保存在文件中。


3、MapReduce的输入输出

   从第2点MapReduce的处理流程步骤可以看出,MapReduce框架运转在<key,value>键值对上。也就是说作业的输入输出都是<keey,value>键值对,中间的各种处理也都是对键值对进行处理。

一个MapReduce作业的输入和输出类型如下图所示:可以看出在整个流程中,会有三种不同的<key,value>键值对类型的存在。


4、MapReduce的具体处理流程

以最经典的WordCount单词计数为例来介绍Map/Reduce阶段具体的处理步骤。

WordCount:统计所有文件中每个单词出现的次数,效果如下图



(1)    Map任务处理:本次处理中有两个Map任务,以其中一个为例


(2)   Reduce任务处理



  • 7
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce是一种用于处理大规模数据集的分布式计算编程模型。它的工作流程可以分为以下几个步骤: 1. 输入数据分割:首先,输入数据被分割为多个小的数据块。每个数据块的大小通常是以文件的大小来决定的,以便可以被分配给不同的计算节点进行并行处理。 2. 映射(map)阶段:每个计算节点将之前分割的数据块作为输入,并根据特定的映射函数对其进行处理。映射函数将输入数据转化为一系列的键值对(key-value pairs)。 3. 中间数据排序和分组:在映射阶段之后,所有计算节点上产生的键值对将会根据键(key)进行排序和分组。这个过程可以减少网络传输的数据量,并将具有相同键的值(value)聚合在一起。 4. 归约(reduce)阶段:在归约阶段中,每个计算节点会将之前分组得到的键值对集合作为输入,并进行进一步的处理。归约函数根据具体业务需求对相同键的值进行计算合并。 5. 最终结果输出:在归约阶段完成之后,最终的处理结果会被写入输出文件中。通常情况下,输出文件由多个分区组成,每个分区对应一个键值对。 整个MapReduce过程具有容错性和可伸缩性。如果某个计算节点在处理过程中发生故障,系统会自动将其任务重新分配给其他健康的计算节点。同时,用户可以根据数据量的增加或减少来调整计算节点的数量,以实现更高的处理性能。 总之,MapReduce是一种能够高效处理大规模数据集的分布式计算方法。它通过分割输入数据、映射、排序和分组、归约等步骤,使得计算任务可以并行处理,并最终得到处理结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值