hadoop 中yarn 详解(yarn 架构&工作机制&作业提交全过程&yarn 的资源调度器)

yarn 是hadoop 2.x 中出现的组件,目的是把资源调度和程序解耦yarn 是什么yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。mr 理解为程序yarn 理解为程序运行的操作系统yarn 的作用负责为mr提供服务器运算资源yarn 架构yarn 主要包括 rm...
摘要由CSDN通过智能技术生成

yarn 是hadoop 2.x 中出现的组件,目的是把资源调度和程序解耦

yarn 是什么
yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
mr 理解为程序
yarn 理解为程序运行的操作系统

yarn 的作用
负责为mr提供服务器运算资源

yarn 架构
yarn 主要包括 rm+nm+applicationMaster+container四大组件等
rm作用:
整个集群资源调度老大,负责客户端请求,监控nm,启动监控am 资源分配及调度
nm作用:
单个节点资源调度老大,处理rm的命令,处理来自am 的命令
am作用:
rm 理解为资源调度老大,am 可以理解为job 任务调度器老大,负责数据切分split 为应用程序申请资源 任务的监控容错
container作用:
类似虚拟机,封装了资源cpu core。。。

yarn 的工作机制(job 提交全流程)
0.客户端提交作业job.waitForCompletion()启动yarnRunner
1.yarnRunner 向rm 申请一个application
2.rm 返回一个资源提交路径&application_id
3.客户端提交job 所需要的资源(切片+配置信息+jar 包)
4.资源提交完毕,客户端申请运行mrAppMaster
5. 将用户请求初始化

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值