大数据开发学习:MapReduce基本组件

MapReduce可以说是分布式计算的鼻祖,虽然在技术的发展迭代当中,MapReduce很大程度上被Spark计算引擎所替代,但是了解MapReduce的底层逻辑,对于我们学习分布式仍然有重要的指导意义。今天的大数据开发学习分享,我们就来讲讲MapReduce基本组件。
 

大数据学习:MapReduce中作业与任务运行机制


MapReduce核心模块

Mapper模块:处理输入的数据,业务逻辑在map()方法中完成,输出的数据也是KV格式;

Reducer模块:处理Map程序输出的KV数据,业务逻辑在reduce()方法中;

Driver模块:将程序提交到Yarn进行调度,提交封装了运行参数的job对象。

MapReduce运行流程

如果从比较简略的角度来说,MapReduce运行分为4个步骤:

Input:从HDFS中读取文件,数据读取组件是TextInputFormat和LineRecordReader。

Mapper:根据Input步骤读取过来的数据,进行数据映射。之后进行混洗,混洗主要进行分区、排序和合并。

Reduce:混洗好的数据交给Reduce步骤进行计算。

Output:Reduce计算好的数据经过TextOutputFormat和LineRecordQriter组件,输出到对应OutPutPath中。

而从更加具体详细的数据处理流程来说,完成MapReduce操作,需要有7个角色参与,可以分为4个大阶段,7个小阶段。分别是:

1、任务启动阶段

1.1、由Client端发起请求;

1.2、YarnRunner接受请求并申请资源;

1.3、ResourceManager检索资源情况,分配资源路径给YarnRunner;

1.4、YarnRunner进行分片,申请启动MRAppMaster

1.5、ResourceManager根据分片和job等信息,选择数据所在节点启动MapTask(程序找数据),唤醒MRAppMaster

1.6、MRAppMaster启动,持续监控和管理任务

1.7、MapTask启动,开始干活

2、Map阶段

2.1数据读取,每个task读取自己节点上的数据。

2.2数据处理

2.2.1每个task对自己读取到的数据进行split,分成更小的数据块

2.2.2对每个split的数据进行map,提取key、value、con

2.2.3对数据进行分区,有条件建议自定义分区,可以解决数据倾斜的问题,对之后的reduce也有极大的优化

2.2.4数据进入环形缓冲区,以起始点为赤道,到达溢出比后,刷新赤道

2.2.5溢出的数据刷入sort进行排序

2.2.6排序好的数据放入spill,进行merge后有序写入hdfs

2.3shuffle阶段

广义shuffle阶段从map之后就开始,到调用reduce函数结束。这里只是将hdfs的数据刷入reduce的缓存区域。

3、Reduce阶段

3.1Reduce启动

3.1.1MRAppMaster监控到redeuce任务即将结束,开始申请启动ReduceTask;RM接受申请,根据分区结果,启动若干ReduceTask

3.1.2ReduceTask启动,把每个map结果中的不同分区的数据,shuffle数据到对应Reducetask所在节点的缓存

3.2数据处理

3.2.1在缓存中对每个sort进行merge(内存、缓存都有)

3.2.2将merge后的结果,重新进行spill,排序后,落到hdfs

3.2.3将所有小文件merge成一个大文件

3.4Reduce阶段

3.4.1调用Reduce函数,对排序好的file进行汇总

3.4.2将最终结果写入到hdfs中

4、任务结束阶段

4.1MRAppMaster监控到每个Reduce节点的执行情况

4.2向上汇报,并申请注销自己

4.3RM注销MRAppMaster,并向上汇报

4.4YarnRunner返回任务执行完成信息

4.5客户端接受信息,任务结束

关于大数据开发学习,MapReduce基本组件,以上就为大家做了简单的介绍了。MapReduce在大数据计算处理上,还是非常具备典型性的,搞懂底层逻辑,对于后续的运行和优化也有指导作用。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值