B05 - 057、Yarn三大组件介绍

初学耗时:0.5h

注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。

一、Yarn三大组件介绍
  1.1  ResourceManager
  1.2  NodeManager
  1.3  ApplicationMaster



记忆词:

  ResourceManager、NodeManager、ApplicationMaster


B05 - 999、大数据组件学习② - Hadoop


ギ 舒适区ゾ || ♂ 累觉无爱 ♀





一、Yarn三大组件介绍

  1.1 ~ ResourceManager

  • ResourceManager 负责整个集群的资源管理和分配,是一个全局的资源管理系统。

  • NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况(目前主要是 CPU 和内存的使用情况)。RM 只接受 NM 的资源回报信息,对于具体的资源处理则交给 NM 自己处理。

  • YARN Scheduler 根据 application 的请求为其分配资源,不负责 application job 的监控、追踪、运行状态反馈、启动等工作。

  1.2 ~ NodeManager

  • NodeManager 是每个节点上的资源和任务管理器,它是管理这台机器的代理,负责该节点程序的运行,以及该节点资源的管理和监控。YARN 集群每个节点都运行一个NodeManager。

  • NodeManager 定时向 ResourceManager 汇报本节点资源(CPU、内存)的使用情况和Container 的运行状态。当 ResourceManager 宕机时 NodeManager 自动连接 RM 备用节点。

  • NodeManager 接收并处理来自 ApplicationMaster 的 Container 启动、停止等各种请求。

  1.3 ~ ApplicationMaster

  • 用户提交的每应用程序均包含一个ApplicationMaster , 它可以运行在ResourceManager 以外的机器上。

  • 负责与 RM 调度器协商以获取资源(用 Container 表示)。

  • 将得到的任务进一步分配给内部的任务(资源的二次分配)。

  • 与 NM 通信以启动/停止任务。

  • 监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

  • 当前 YARN 自带了两个 ApplicationMaster 实现,一个是用于演示 AM 编写方法的实例程序 DistributedShell,它可以申请一定数目的 Container 以并行运行一个 Shell 命令或者 Shell 脚本;另一个是运行 MapReduce 应用程序的 AM—MRAppMaster。

  • 注:RM 只负责监控 AM,并在 AM 运行失败时候启动它。RM 不负责 AM 内部任务的容错,任务的容错由 AM 完成。



红豆生南国,春来发几枝。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -



^ 至此,Yarn三大组件介绍完成。


- - - - - - - - - - - - - - - - - - - - - - - - - - - -


※ 世间诱惑何其多,坚定始终不动摇。

SQL Server2000在安装时会自动创建4个系统数据库,下列不是系统数据库的是:


A、master
B、model
C、pubs
D、tempdb

C
alt



红豆生南国,春来发几枝。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -


注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。

我知道我的不足,我也知道你的挑剔,但我就是我,不一样的烟火,谢谢你的指指点点,造就了我的点点滴滴:)!



红豆生南国,春来发几枝。


展开阅读全文

没有更多推荐了,返回首页