mapreduce-MR执行流程(IO)

MapReduce——MR的执行流程(五次IO)

一个完整的mapreduce程序在分布式运行时有三类实例进程:

  • MRAppMaster:负责整个程序的过程调度及状态协调

  • mapTask:负责map阶段的整个数据处理流程

    (maptask的数量是不能设置的,reducetask可以自己设置job.setNumReduceTasks(5);)

  • ReduceTask:负责reduce阶段的整个数据处理流程

对于MR的执行流程,我是通过其过程中的五次IO来记忆的,详细解释如下(最后有流程详图):

第一次io

1、在一个MR程序的启动的时候,最先启动的是MRAppMaster,MRAppMaster启动后根据本次job作业的描述信息,计算出需要的map task的实际数量,紧接着向集群申请服务器启动相应数量的map task进程。

​ 1.1(读文件流程)从map task进程开始读取文件,是通过调用客户端指定的FileInputFormat(默认是TextInputFormat)生成一个RecordReader对象,调用RecordReader中的read()方法,然后它会,按行读取block块里面的内容(一次读一行)。

​ maptask会调用nextkeyvalue()方法,通过getCurrentKey,getCurrentValue得到k,v的键值对数据,返回(key,value)。

​ 1.2(切片流程)通过调用getSplit

  • 3
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值