《YARN》--yarn的简介

最新推荐文章于 2021-04-18 16:55:38 发布

yk_3215123

最新推荐文章于 2021-04-18 16:55:38 发布

阅读量319

点赞数

本文链接：https://blog.csdn.net/yk_3215123/article/details/90814917

版权

YARN，全称YET ANOTHER RESOURCE NEGOTIATOR，是Hadoop 2.x引入的资源管理系统，旨在改善MapReduce并提供更强的通用性。它包括ResourceManager、NodeManager和Application Master三个核心组件，支持集群的扩展、提高可用性和资源利用率，并允许多租户运行不同的分布式计算框架。YARN的工作机制包括FIFO、容器和公平调度器等多种资源调度策略。

摘要由CSDN通过智能技术生成

YARN(YET ANOTHER RESOURCE NEGOTIATOR的简写)

1.简介
是Hadoop的资源管理系统，Hadoop2.x之后被引入进来，为了改善MapReduce的实现。不过，通用性很强，
也可以运行其他的分布式计算框架
2.yarn运行的守护进程
a.resourcemanager：yarn的常驻进程，数目是一个
负责整个集群上资源监控，管理等
b.nodemanager：yarn的常驻进程工作节点上都有一个
启动和监控工作节点上的容器(cpu,内存等资源)
向application master汇报进度
c.application master：yarn提交job/application时，资源管理器联系某一个nodemanager启动的进程
负责整个job的运算，返回给客户端，或者向resourcemanager申请更多的容器(container)
记录作业进度报告
3.yarn与mapreduce1的比较
a.可扩展性
yarn使用resourcemanager和每个作业对应的application master来管理和使用资源，可以使集群扩展
到1w个节点和10w个任务（mapreduce1的瓶颈使4k个节点和4w个任务）
b.可用性
yarn使用resourcemanager和application master 来分而治之 mapreduce1中的jobtracker的管理，可以
配置resourcemanager的高可用性，来提高MapReduce作业的可用性 ÿ