Yarn知识点整理

Yarn知识点整理Yarn是一个资源调度平台,负责为计算框架提供服务器运算资源,相当于一个分布式操作系统平台,而MapReduce相当于应用程序。Yarn在Hadoop2之后引入MapReduce.基本架构ResourceManager:处理客户端请求监控NodeManager状态启动和监控ApplicationManager资源的分配与调度NodeManager:管理...
摘要由CSDN通过智能技术生成

Yarn知识点整理

Yarn是一个资源调度平台,负责为计算框架提供服务器运算资源,相当于一个分布式操作系统平台,而MapReduce相当于应用程序。Yarn在Hadoop2之后引入MapReduce.

基本架构

  • ResourceManager:
    • 处理客户端请求
    • 监控NodeManager状态
    • 启动和监控ApplicationManager
    • 资源的分配与调度
  • NodeManager:
    • 管理单个节点上的资源
    • 处理来自ResourceManager的命令
    • 处理来自ApplicationManager的命令
  • ApplicationManager:
    • 负责数据切分
    • 为应用程序申请资源并分配给内部的任务
    • 任务的监控与容错
  • Container:
    • Yarn资源的抽象,封装了节点的多维度资源,如内存、CPU、磁盘、网络等

工作机制

work_flow

  1. Mr程序提交到MapReduce客户端所在节点
  2. MapReduce客户端的YarnRunner类向ResourceManager申请一个Application
  3. ResourceManager将Mr程序的资源路径返回给YarnRunner
  4. MapReduce客户端将运行Mr程序所需资源提交到HD
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值