【Hadoop Yarn01】 Yarn资源调度器&参数配置

最新推荐文章于 2024-04-21 15:06:37 发布
最新推荐文章于 2024-04-21 15:06:37 发布
阅读量905 收藏 7
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43589563/article/details/120536336
版权

Yarn


yarn是一个资源调度平台，相当于一个分布式的操作系统平台，负责为运算程序提供服务器运算资源，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

1.Yarn基础架构

核心组件：

  • ResourceManager
  • NodeManager
  • ApplicationMaster
  • Container
    在这里插入图片描述

ResourceManager(RM)

职责：
（1）接收Yarn客户端的请求，比如提交计算作业（MR、Spark、Flink）
（2）监控NodeManager 的资源（CPU\内存）
（3）启动和监控ApplicationMaster (AppMaster是一个进程，一个计算作业对应一个AppMaster)
（4）集群资源的分配和调度

NodeManager(NM)

职责：
（1）管理单个节点的资源
（2）处理来自RM的命令
（3）处理来自ApplicationMaster的命令

ApplicationMaster(AM)

职责：
（1）为计算程序（一个MR、Spark、flink任务）申请计算所需要的资源并且分配给内部的任务
（2）监控MapTask、ReduceTask
如果某个Task计算任务挂了，就会重新申请资源来执行task

Container

是yarn集群中资源的抽象，封装了NodeManager节点上的多种资源（内存、cpu、磁盘、网络等）；
AppMaster、MapTask、ReduceTask等进程都是运行在Container中的；所以Container就是一个子任务的运行容器；

2.Yarn工作流程

在这里插入图片描述
在命令行中执行hadoop jar xxx 一个MR程序会走怎样的流程？
（0）MR的Driver类中，提交任务job.waitForCompletion()方法会创建一个客户端，本地模式下叫localRunner，集群模式下叫YarnRunner
（1）YarnRunner向ResourceManager申请运行一个应用程序(计算任务)
（2）RM将该应用程序（计算Job）的一些信息所要存放的路径返回给YarnRunner

(1)job的相关信息
- Job.split   切片信息;控制MapTask的个数
- job.xml     job所需要的资源配置信息
- wc.jar       jar包;MR程序代码
(2)job信息存放路径
如果是本地模式，那么就在本地机器上创建一个staging目录来存放
如果是集群模式，在hdfs的一个staging目录中存放

（3）YarnRunner该job运行所需的信息提交到HDFS上的指定目录中
（4）job资源提交完毕后，向RM申请运行mrAppMaster进程
（5）RM将请求初始化成一个Task，放进调度队列中，等待调度执行
（6）Task被调度的时候，其中一个NodeManager会领取到Task，紧接着该NodeManager创建容器Container，来运行MRAppmaster进程
（8）Appmaster进程会从HDFS上拷贝job的配置信息到本地节点
（9）Appmaster拿到job配置信息后，也就有了切片信息，此时AM会向RM 申请运行MapTask的资源

申请在NodeManager节点上开启task进程的请求都会被封装成Task进入ResourceManager的任务调度器中，调度执行

（10）RM会在有资源的NodeManager节点上创建容器来运行MapTask任务

如果NodeManager节点资源充足，同时分配多个container来运行MapTask也是ok的

（11）此时MapTask的容器有了，MRAppmaster会向两个接收到任务的NodeManager发送程序启动脚本，分别启动MapTask
（12） MapTask执行完毕，会在NodeManager上产生结果分区且区内有序的结果数据，一个MapTask对应一个
（13）MrAppMaster等待所有MapTask运行完毕后，再次向RM申请容器，运行ReduceTask进程

(1)这里说等待所有MapTask运行完毕后，申请运行ReduceTask是不严谨的；
Hadoop有优化机制会提前ReduceTask的执行
(2) MapTask执行完了就会销毁容器

（14）ReduceTask向MapTask获取相应分区的数据。
（15）程序运行完毕后，MR会向RM申请注销自己。

HDFS\MR\Yarn的配合

在这里插入图片描述

3.Yarn资源调度器

理解调度器的功能

首先要分清两个概念：任务调度和任务执行；
调度器 相当于食堂打饭阿姨，阿姨打饭是调度，吃饭是执行；
FIFO调度器就相当于食堂阿姨只能给排队的第一个人打饭；但不意味着同一时刻只能有一个任务再执行。

Hadoop作业调度器主要有三种：

  • FIFO
  • Capacity Scheduler
  • Fair Scheduler

Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler
CDH 默认调度器是Fair Scheduler

具体设置详见：yarn-default.xml文件

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

3.1 FIFO调度器

在这里插入图片描述
job先进先出；必须等第一个job执行完了，才能调度第二个job分配资源来运行;

3.2 Capacity Scheduler

在这里插入图片描述
（1）多条FIFO队列
（2）每条队列都有资源占比分配、资源上下限
（3）队列之间可以借资源；
（4）可以针对用户限定其可用资源上限

调度算法：
在这里插入图片描述
Job层面的分配：
（1）队列之间，小队列中的job优先分配资源
（2）队列中，按照job优先级和提交时间顺序
Job中Task层面的分配：

3.3 公平调度器

在这里插入图片描述
（1）和容量调度器的共同点
（2）和容量调度器的区别
默认使用的调度算法不同，公平调度器默认用FAIR，容量调度器是FIFO;如果公平调度器改成FIFO，和容量没区别了
（3）FIFO和FAIR的宏观区别：
容量调度器优先给小队列的job分配资源，FAIR优先给缺额大的job分配资源；
公平的FAIR策略是队列中所有的job宏观上都会被分配资源

缺额的含义：
某一时刻应该获取的资源和实际获取的资源的差值；

FAIR策略理论
在这里插入图片描述
Fair策略演示
（1）队列之间的资源分配
在这里插入图片描述

（2）job之间的资源分配
在这里插入图片描述

DRF策略
在这里插入图片描述

3.4 Yarn调度器多队列配置（☆）

4.Yarn常用命令

为了方便演示，先启动一个wc程序
在这里插入图片描述

1.yarn application查看任务

（1）查看所有在yarn集群上正在运行的任务

yarn application -list

如果任务结束了，就看不到了
在这里插入图片描述

（2）查看所处状态的任务
yarn application - list -appStates FINISHED

状态有：
FINISHED
ALL
NEW
NEW_SAVING
SUBMITTED
ACCEPTED
RUNNING
FINISHED
FAILED
KILLED

在这里插入图片描述
(3) kill application

yarn application -kill [application-id]

2.yarn logs 查看日志

(1) 查看Application日志 [重要]

yarn logs -applicationId [application-id]

如果yarn ui页面或者没有配置历史服务器，就可以通过这个命令查看

(2) 查看一个container中任务的执行日志

yarn los -applicationId [application-id] -containerId [containerid]

3.yarn applicationattempt 查看尝试运行的任务

尝试：任务正在运行时候，处于什么状态
（1） 这个可以查看到容器ID

yarn applicationattempt -list [application-id]

在这里插入图片描述
(2) 查看任务状态
在这里插入图片描述

4.yarn container 查看容器

在这里插入图片描述

5.yarn node 查看节点状态

在这里插入图片描述

6.yarn rmadmin 更新任务配置

在这里插入图片描述
这个命令很重要，如果我们修改了yarn的队列配置，不需要重启yarn，直接执行这个命令，yarn就能重新读取配置文件；
注意，只和队列配置有关；

7.yarn queue 查看队列状态

在这里插入图片描述

5.yarn生产环境核心配置参数

1.ResourceManager相关配置

yarn.resourcemanager.scheduler.class

  • 功能：配置调度器种类；
  • apache默认是fifo，cdh默认是fair

yarn.resourcemanager.scheduler.thread-count

  • resourcemanager能够接受的客户端线程；
  • 默认50个

2.NodeManager相关

yarn.nodemanager.resource.detect-hardware-capabilities

  • 是否让yarn自己检测硬件配置，默认false;
  • 一般手动配置NM

yarn.nodemanager.resource.count-logical-processors-as-cores

  • 是否将虚拟核数当作CPU核数，默认false;
  • 如果NM之间的配置不同，有的配置高，有的配置低，纯按照物理核，性能好的浪费资源，所以此时开启这个配置

yarn.nodemanager.resource.pcores-vcores-multiplier

  • 此配置项依赖上面一个
  • 虚拟核能顶多少个核物理核，该参数应设置为2，默认1

yarn.nodemanager.resource.memory-mb

  • NodeManager节点上缴给yarn可用的内存；默认8G

yarn.nodemanager.resource.system-reserved-memory-mb

  • Nodemanager为系统保留多少内存；
  • 这个参数和上面一个参数是相反的，因此二者只配置一个即可

yarn.nodemanager.resource.cpu-vcores

  • Nodemanager上缴给yarn的cpu核数；默认8个

yarn.nodemanager.pmem-check-enabled

  • 是否开启物理内存检查限制，默认打开；
  • 检查NM内存使用情况，如果不加控制，可能会占用系统内存，导致机器崩溃；

yarn.nodemanager.vmene-check-enabled

  • 是否开启虚拟内存检查限制，默认打开；

yarn.nodemanager.vmem-pmem-ratio

  • 虚拟内存和物理内存比例；默认2：1

3.Container相关

yarn.scheduler.minimum-allocation-mb

  • 容器最小内存，默认1g

yarn.scheduler.maxmum-allocation-mb

  • 容器最大内存，默认8g；不能超过NM上缴的内存

yarn.scheduler.minimum-allocation-vcores

  • 容器最小cpu核数，默认1个

yarn.scheduler.minimum-allocation-mb

  • 容器最大cpu核数，默认4个；不能超过NM上缴的CPU核数

4. AppMaster进程相关

4.1 增加ApplicationMaster资源比例

针对容量调度器并发度低的问题，考虑调整yarn.scheduler.capacity.maximum-am-resource-percent该参数。
默认值是0.1，表示集群上AM最多可使用的资源比例，目的为限制过多的app数量。

（1）在hadoop102的/opt/module/hadoop-3.1.3/etc/Hadoop/capacity-scheduler.xml文件中修改如下参数值

[atguigu@hadoop102 hadoop]$ vim capacity-scheduler.xml

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.5</value>
    <description>
      集群中用于运行应用程序ApplicationMaster的资源比例上限，
该参数通常用于限制处于活动状态的应用程序数目。该参数类型为浮点型，
默认是0.1，表示10%。所有队列的ApplicationMaster资源比例上限可通过参数
yarn.scheduler.capacity.maximum-am-resource-percent设置，而单个队列可通过参数yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent设置适合自己的值。
    </description>
</property>

（2）分发capacity-scheduler.xml配置文件
[atguigu@hadoop102 hadoop]$ xsync capacity-scheduler.xml
（3）关闭正在运行的任务，重新启动yarn集群
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

多队列配置

败给你的黑色幽默丶
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Yarn】hadoop的yarn资源队列
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
hadoop配置_Hadoop基础Yarn的基本配置(一)详细过程
weixin_39786706的博客
11-30 1180
大数据系统和分布式系统的参数配置是一个很依赖经验和技巧的工作，后续会详细的讲解如何通过参数配置进行性能优化。为了简单起见，本文和以前的文章HDFS的安装配置一样，只讨论最简单的基本配置。本文首先讨论了Yarn的背景知识，接着介绍详细的配置配置，最后介绍启动的操作。一、预备知识1.1 Yarn的角色及其在系统栈中的位置图1-1Yarn的角色及其在系统栈中的位置图1-1描述了Yarn在系统...
理解YARN Scheduler
Spring , Hadoop, Spark , BI , ML
07-23 3102
在YARN中，资源调度器（Scheduler）是ResourceManager中的重要组件，主要负责对整个集群（CPU，内存）的资源进行分配和调度，分配以资源Container的形式分发到各个应用程序中（如MapReduce作业），应用程序与资源所在节点的NodeManager协作利用Container完成具体的任务（如Reduce Task）。Scheduler以可插拔的形式来配置，框架默认提
hadoop用job文件方式提交任务
自清的soft专栏
07-03 1418
hadoop job命令支持通过xml文件的方式提交任务。 命令： hadoop job -libjars some.jar -submit testjob.xml useroverlap.jar是实现了Mapper、Reducer等的jar包，testjob.xml是作业配置文件。 例子在74的/data/hydata/mapreduce/useroverlap j
yarn的安装与配置（秒懂yarn用法）
百赢出品，必属精品
04-21 7620
Yarn 是一个快速、可靠、安全的 JavaScript 包管理工具，旨在提高开发者在构建 JavaScript 项目时的效率和可靠性。它由 Facebook、Google、Exponent 和 Tilde 共同开发，目的是解决 npm 的一些问题并提供更好的性能和稳定性。Yarn 通过并行安装依赖项和离线缓存机制，能够显著加快包的安装速度，提高开发效率。
Yarn 调度器Scheduler
狗子的逆袭之路
09-14 128
在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。 FIFO Scheduler FIFO Scheduler把应用按提交的...
Hadoop技术-YARN资源调度器.pptx
11-02
&quot;Hadoop技术-YARN资源调度器&quot; Hadoop技术作为大数据处理的重要技术之一，YARN（Yet Another Resource Negotiator）作为Hadoop的资源管理层，负责管理和分配集群资源。YARN资源调度器是Hadoop YARN中最核心的组件之...
HadoopYARN大数据计算框架及其资源调度机制研究
11-27
HadoopYARN大数据计算框架及其资源调度机制研究，对Yarn的工作机制做一个全面的概述，揭示原理
Hadoop资源管理器YARN详解
最新发布
07-11
Hadoop资源管理器YARN详解
基于YARN资源调度器的MapReduce作业数调节方法
05-06
本文在现有的YARN资源调度器的基础上，结合了一种闭环反馈控制方法，可在集群运行状态下动态地对MapReduce （MR）作业数进行优化，省去了人工调整参数的过程.实验表明，在YARN的容量调度器和公平调度器的基础上使用...
大数据学习——YARN
daybreak98的博客
05-27 204
（2）根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）ApplicationMaster 负责协调来自 ResourceManager 的资源，负责任务的监控与容错，根据应用的运行状态和资源使用情况动态计算资源需求。YARN 中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
Hadoop中Yarn资源调度器、Yarn工作机制、作业提交全过程、Yarn调度器和调度算法、先进先出调度器（FIFO）、容量调度器（Capacity Scheduler）、公平调度器（Fair Sc
Redamancy06的博客
10-12 639
HDFS、YARN、MapReduce三者关系、作业提交过程值YARN、作业提交过程之HDFS & MapReduce、公平调度器（Fair Scheduler）、容器调度器特点、容量调度器资源分配算法、公平调度器特点、公平调度器----缺额、公平调度器队列资源分配方式、FIFO策略、Fair策略、DRF策略、公平调度器资源分配算法、公平调度器资源分配方法、作业提交全过程详解（1）作业提交第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第2步：C
大数据开发系列（五）----yarn 生产环境核心参数配置
Xiaoyeforever的博客
08-20 1344
yarn 生产环境核心参数配置，yarn作为hadoop的资源分配和调度的基础组件，组件基础： 1、ResourceManager相关 yarn.resourcemanager.scheduler.class #配置调度器，apache yarn默认容量调度器，CDH默认公平调度器 yarn.resourcemanager.scheduler.client.thread-count # ResourceManager处理调度器请求的现场数量，默认50 2、NodeManager相关 y...
spark-yarn查看集群资源
热门推荐
大白
04-15 1万+
    spark-submit --master yarn --deploy-mode cluster --executor-cores 4 --num-executors 3 --executor-memory 10g --class solr.CeShi sbt-solr-assembly08.jarApps Submitted：总共提交了多少个JOb(122)Apps Running：当前...
HadoopYarn常用命令、yarn application查看任务、yarn logs查看日志、yarn applicationattempt查看尝试运行的任务、查看容器、Yarn生产环境核心参数
Redamancy06的博客
10-13 7536
yarn queue查看队列、yarn rmadmin更新配置、yarn node查看节点状态、yarn container查看容器、列出所有Application、根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）、Kill掉Application、查询Application日志、查询Container日
（6、1）hadoop之yarn：资源调度系统
weixin_43930865的博客
04-14 1020
yarn资源调度系统 文章目录yarn资源调度系统1：yarn简介1：yarn架构1：ResourceManager2：NodeManager3：AppMaster4：Container容器5：ASM6：Scheduler2：YARN 作业执行流程 1：yarn简介 YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台。 YARN 其实就与运行的用户程序完全解耦，就意味着 YARN 上可以运行各种类型的分布式运算程序，所以，Spark、Storm 等运算框架都可以
hadoop中的job调度管理
baidu_15113429的博客
11-08 2158
Hadoop调优方式 一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，如果有则让其派发任
hadoop classpath_10分钟大数据Hadoop基础入门「值得收藏」
weixin_39936134的博客
11-24 240
前言目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质一、数据的存储：分布式文件系统(分布式存储)二、数据的计算：分部署计算基础知识学习大数据需要具备Java知识基础及Linux知识基础学习路线(1)Java基础和Linux基础(2)Hadoop的学习：体系结构、原理、编程第一阶段...
hadoop yarn 资源调度器配置
09-18
Hadoop YARN是Hadoop的下一代集群资源管理系统，它将集群资源划分为容器，通过资源调度器来分配和管理...总之，Hadoop YARN资源调度器的配置需要根据集群的实际情况和需求进行灵活的调整，以实现高效的资源管理和调度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值