MR作业提交流程

客户端
到RM取号,作业编号
检验输入目录或文件是否存在
检验输出目录是否指定,并且不存在
计算切片信息

将配置文件/jar包/切片信息发送到HDFS以作业编号命名的目录中(HDFS目录)

向RM发送请求,提交作业
监控作业执行的进度,每秒发送一次请求,请求作业执行进度,如果进度有变,则
在控制台打印进度信息

HDFS
存储配置文件/jar包/切片信息

ResourceManager

调度NodeManager,让NM分配一个容器,运行MRAppMaster程序

RM会调度NodeManager分配容器,用于运行map任务或者reduce任务

NodeManager

分配容器,根据MRAppMaster的请求,运行指定的任务,map任务或者reduce任务
当任务运行结束,要通知MRAppMaster,MRAppMaster做后续的处理

MRAppMaster

负责计算的监控/失败重试/计算调度

收集HDFS上的配置文件/jar包/切片信息
分析出需要运行多少个Map任务,多少个reduce任务
向RM发送请求,让RM分配容器,运行map任务
当map任务完成5%之后,为reduce申请容器

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值