Yarn是个什么玩意

最新推荐文章于 2024-07-05 15:06:21 发布

任乌拉

最新推荐文章于 2024-07-05 15:06:21 发布

阅读量514

点赞数

文章标签：队列大数据 hadoop java spark

本文链接：https://blog.csdn.net/renzhixin1314/article/details/112909984

版权

Yarn是Hadoop2.0引入的资源调度平台，负责集群资源的统一管理，解决Hadoop1.0的单点故障和资源利用率低等问题。它包括Resource Manager、Node Manager、Container和Application Master等组件，实现应用与资源管理的分离，提高了系统的可扩展性和利用率。Yarn支持FIFO、Capacity Scheduler和Fair Scheduler等多种调度策略，确保多租户的公平性和资源的有效利用。

摘要由CSDN通过智能技术生成

    Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。

   在hadoop1.0中有一些弊端，比如hdfs元数据信息保存的单节点故障，并且任务计算框架只能使用mapreduce，而且造成了任务管理器的压力过大，因此在hadoop2.0中加入了yarn资源统一管理的机制，不仅解决了元数据单节点故障问题(双namenode)而且实现了元数据的实时热备(共享机制JournalNode)，在hdfs和mr之间加入了yarn，统一协调资源。

主要角色：

    Resource Manager：资源管理器，负责整个集群的资源分配，只在NameNode上。RM包括两个组件，一个是Application Manager，用于管理集群中的所有用户作业；另一个是Scheduler。

    Node Manager：节点管理器，负责在单个节点上启动和监控Container，在所有节点上都有一个。向RM负责并保持心跳。

    Container：容器负责任务的具体执行，可以是一个进程，也可以是一个Linux cgroup，可以配置，每个容器都有资源限制(CPU，内存)，一个Container代表一个节点上的一组资源。

    Application Master：对于向Yarn提交的应用，Application Master是这个应用的中枢，负责监控应用的信息。Application Maste

最低0.47元/天解锁文章