yarn设计思想
yarn的基本思想是将资源管理和作业调度/监视功能划分为单独的守护进程。其思想是拥有一个全局的ResourceManager(AM)。应用程序可以是单个作业,也可以是一组作业,一个ResourceManager和多个NodeManager构成了yarn资源管理框架。他们是yarn启动后长期运行的守护进程,来提供核心服务。
-
ResourceManager:他的实质就是资源调度,用来管理整个集群的所有资源分配,内部含有一个Scheduler(资源调度器)。
- NodeManager:对应的是每台机器的资源管理器,同时它也是单个节点的管理者,它负责启动和监控资源的使用情况,并向ResourceManager反馈资源的使用情况。
- Container:它是集群上的可使用资源,就是CPU、内存、磁盘那些。
- ApplicationMaster:它实际上就是应用程序,启动时需要去向ResourceManager去索取资源,然后再由container来为它提供资源。
以上内容有些粗略,如有不懂可以在评论区留言。