2021-04-22

                                                                                            yarn设计思想

       yarn的基本思想是将资源管理和作业调度/监视功能划分为单独的守护进程。其思想是拥有一个全局的ResourceManager(AM)。应用程序可以是单个作业,也可以是一组作业,一个ResourceManager和多个NodeManager构成了yarn资源管理框架。他们是yarn启动后长期运行的守护进程,来提供核心服务。

 

  • ResourceManager:他的实质就是资源调度,用来管理整个集群的所有资源分配,内部含有一个Scheduler(资源调度器)。

  • NodeManager:对应的是每台机器的资源管理器,同时它也是单个节点的管理者,它负责启动和监控资源的使用情况,并向ResourceManager反馈资源的使用情况。
  • Container:它是集群上的可使用资源,就是CPU、内存、磁盘那些。
  • ApplicationMaster:它实际上就是应用程序,启动时需要去向ResourceManager去索取资源,然后再由container来为它提供资源。

 

 以上内容有些粗略,如有不懂可以在评论区留言。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值