MapReduce详细工作流程

10 篇文章 0 订阅
6 篇文章 0 订阅

第一部分详细说明

在这里插入图片描述

MapReduce默认输入处理类是FileInputFormat
------InputFormat源码链接
1.文本job提交
------Job源码链接
2.FileInputFormat按照块大小(128m)进行切片
------切片源码链接
3.切片信息,jar包(Job提交到集群运行时),配置信息上传到HDFS上,将任务提交到ResourceManager
4.ResourceManager启动AppMaster,AppMaster收到数据找ResourceManager申请资源,ResourceManager会分配两个Container,两个MapTask分别在Container中运行
5.默认的InputFormat>>TextInputFormat重写的RecordReader会返回一个LineRecordReader对象,它会一行一行的读取数据(读取到Mapper的map方法)>>我们写的Mapper方法就是继承自这个Mapper方法然后重写map类来自定义输出context的key和value值
6.map方法进行逻辑运算后将输出值输出到outputCollector中
7.数据会根据你设置的ReduceTask值来进行分区
------分区源码链接
8.分区后的数据进入环形缓冲区(默认是100m)
------环形缓冲区源码链接
9.分区,排序(快排)
10.排序后数据被写到磁盘上(被分区且分区内有序)
11.Merge归并排序
12.combiner可以根据实际情况在设置后使用(继承Reduce方法与Reducer用法相同)

在这里插入图片描述

第二部分详细说明

1.流程图上的是两个分区,所以分配了两个ReduceTask,两个MapTask中相同的分区会进入到同一个ReduceTask中,进入ReduceTask中的数据会先往内存中存储,若内存不够则往磁盘中存储
2.数据再次进行归并排序
3.相同key值的数据为一组写入到Reducer中>>我们自定义的Reducer方法继承Reducer并重写了reduce方法
4.与开头的InputFormat类似,数据输出走的是OutputFormat的默认输出子类TextOutputFormat中重写的RecordWriter方法中返回的LineRecordWrite对象一行一行的输出数据
5.数据输出到集群或本地两个块

  • 4
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

水花一直飞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值