Hadoop YARN（产生背景，YARN架构，yarn作业提交全过程，jobhistoryserver使用，资源调度器，yarn常用命令）

最新推荐文章于 2021-12-10 09:20:58 发布

May--J--Oldhu

最新推荐文章于 2021-12-10 09:20:58 发布

阅读量334

点赞数

分类专栏：总结性文章 Hadoop 文章标签： hadoop yarn 分布式 yarn作业提交资源调度器

本文链接：https://blog.csdn.net/May_J_Oldhu/article/details/108602109

版权

本文详细介绍了Hadoop YARN的产生背景、架构、工作机制，包括ResourceManager、ApplicationMaster、NodeManager和Container的角色。还涵盖了JobHistoryServer的配置与使用，以及FIFO、Capacity Scheduler和Fair Scheduler等资源调度器的工作原理。最后，讨论了YARN的常用命令，如任务管理和节点管理。

摘要由CSDN通过智能技术生成

一.YARN基础

1.YARN产生背景

在hadoop1.x中，MapReduce采用的是Master/Slave架构，在集群中表现为一个JobTracker和多个TaskTracker。
JobTracker负责资源管理和作业调度；
TaskTracker带那个气向JobTracker发送心跳信息，汇报本节点的健康状况，资源使用情况，以及任务执行情况，同时还可以接受并执行JobTracker的命令，如启动任务和杀死任务等。
hadoop1.x存在的问题：
（1）可靠性差（JobTracker单点故障）:
整个集群中只有一个JobTracker，会存在单点故障的隐患，当JobTracker出现故障后，代表整个集群都不能提供服务
（2）JobTracker节点压力大。
JobTracker承载职责过多，不仅要处理来自客户端的请求，还有接收大量的tasktracker节点的请求。
（3）不易扩展
由于JobTracker是单节点，严重制约了hadoop集群的扩展性。
（4）不支持多种计算框架
只支持MapReduce作业，不支持提交其他框架的作业。
（5）资源利用率低
在 TaskTracker 端，用 Map/Reduce Task 作为资源的表示过于简单，没有考虑到 CPU、内存等资源情况，当把两个需要消耗大内存的 Task 调度到一起，很容易出现 OOM。

2.YARN概述

Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的hadoop资源管理系统，是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度.

二.YARN架构

YARN的架构也是Master/Slave架构，由Client，ResourceManager（RM），NodeManager（NM）组成。
YARN的基本思想是JobTracker的两个主要职责——资源管理和作业调度交给全局的ResourceManager和代表每个应用的ApplicationMaster。
在这里插入图片描述
从YARN架构图来看，主要有Client，ResourcesManager,NodeManager,ApplicationMaster和Container等组件构成

1.ResourcesManager（RM）。

（1）ResourcesManager含义

RM是一个全局的资源管理器，整个集群只有一个，负责整个系统的资源管理和作业调度。
由**调度器（Scheduler）和应用程序管理器（Application Manager，ASM）**组成。

（2）ResourcesManager组成

调度器根据容量，队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给正在运行的应用程序。
应用程序管理器负责管理整个系统的所有应用程序，包括应用程序的提交以及与调度器协商资源以启动ApplicationManager，监控ApplicationManager运行状态并在失败时启动它。