Yarn知识点整理

最新推荐文章于 2024-07-09 16:16:16 发布

a大数据yyds

最新推荐文章于 2024-07-09 16:16:16 发布

阅读量1.1k

点赞数 1

分类专栏： YARN

本文链接：https://blog.csdn.net/qq_45765882/article/details/105280012

版权

本文详细介绍了Yarn作为通用资源管理系统和调度平台的角色，包括ResourceManager、NodeManager、ApplicationMaster和Container的工作机制。讨论了FIFO Scheduler、Capacity Scheduler和Fair Scheduler三种调度策略，并提及Hadoop HA中的NameNodeHA和ResourceManagerHA，解释了如何处理单点故障和实现元数据同步。

摘要由CSDN通过智能技术生成

Yarn知识点整理
1、什么是Yarn
通用资源管理系统和调度平台
2、Yarn特点：
1、支持多计算框架
2、资源利用率高，运行成本低，数据共享。
3、Yarn的意义：
降低了企业硬件的成本（多个集群变成一个集群），减少了资源的了浪费，运营成本低。
4、Yarn基本组成
ResourceManager ：一个集群资源调度的管理者
NodeManager ：一个节点资源调度的管理者（集群各个节点资源的工作者）
ApplicationMaster ：一个计算任务的管理者
Container ：容器（cpu 和内存）
5、Yarn提交任务的流程
在这里插入图片描述

1、client向RM提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
2、ResourceManager启动一个container用于运行ApplicationMaster。
3、启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳。
4、ApplicationMaster向ResourceManager发送请求，