分布式资源调度框架YARN

最新推荐文章于 2024-06-12 01:27:32 发布
最新推荐文章于 2024-06-12 01:27:32 发布
阅读量256 收藏
点赞数 1
分类专栏： Hadoop 文章标签： 分布式资源调度框架YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianchun22/article/details/108600748
版权

分布式资源调度框架YARN

启动JobHistoryServer

在伪分布式模式下，先开启hadoop和启动历史服务：

start-all.sh
mr-jobhistory-daemon.sh start historyserver

可以查看jobHistory：
http://192.168.247.201:19888/jobhistory
在这里插入图片描述
一般用来处理，对集群来说执行的时间过长，或者发生执行错误的情况。考虑是否发生了类似数据倾斜，集群某个节点卡死的问题，这时候需要去查看执行情况。

YARN概念

YARN的由来

  • 1、Hadoop1.x版本中最大的问题是资源问题
    对数据的处理和资源调度主要依赖MapReduce完成，只能运行MapReduce程序
    JobTracker负责资源管理和程序调度，压力较大
  • 2、Hadoop2.x版本添加YARN
    主要负责集群资源管理

YARN概述

  • YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离
    通用的资源管理系统，可为不同的应用（MapReduce、Spark、Flink等）提供统一的资源管理和调度
    它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

YARN基本架构

YARN的基本架构核心组件

  • 1、YARN的架构是master/slaves的主从架构
    1.1 master:ResourceManager->全局资源管理
    负责集群全局统一的资源管理、调度、分配
    1.2 slave:NodeManager->节点资源管理器
    启动了NodeManager进程的节点
    负责管理节点的资源及使用情况
  • 2、YARN核心组件（包含ResourceManager和NodeManager）
    2.1 ApplicationMaster
    2.2 Container
    在这里插入图片描述

YARN架构核心组件-ResouceManager

  • 1、ResourceManager组成
    1.1 ResourceScheduler—>资源调度器，根据节点的容量、列队情况，为应用程序分配资源
    1.2 Application Manager—>应用程序管理器，负责接受Client端传输的job请求
  • 2、ResourceManager功能
    2.1 处理客户端请求
    2.2 监控NodeManager
    2.3 启动和监控ApplicationMaster，进行必要的重启
    2.4 整个系统的资源分配和调度

YARN架构核心组件-NodeManager

  • 1、NodeManager功能
    1.1 本节点上的资源管理和任务管理
    1.2 定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行情况
    1.3 接收和处理来自ResourceManagerd的Container启动和停止的各种命令
    1.4 处理来自ApplicationMaster的指令，比如启动Map Task和Reduce Task指令

YARN架构核心组件-ApplicationMaster

  • 1、ApplicationMaster功能
    1.1 每个应用程序对应一个ApplicationMaster，负责单个应用程序的管理
    1.2 负责数据切分
    1.3 为应用程序向ResourceManager申请资源（Container），并分配内部任务（MapTask和ReduceTask）
    1.4 与NodeManager通信来启动/停止任务，Task都是运行在Container中的
    1.5 负责任务的监控和容错，当某些Task运行出错，运行容错处理

YARN架构核心组件-Container

  • 1、Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等
  • 2、Container类似于一个虚拟机，可以在上面执行任务

YARN的工作机制

在这里插入图片描述

YARN上提交MapReduce程序步骤

  • 1、运行框架自带的MapReduce程序
    1.1 Jar位置（$HADOOP_HOME/share/hadoop/mapreduce）
    1.2 Jar名称（hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar）
  • 2、执行WordCount程序
#hadoop jar /jar包目录/指定jar包名称 wordcount /输入路径 /输出路径
hadoop jar /opt/hadoop/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /user/data /user/out

在这里插入图片描述

  • 3、使用YARN WebUI查看任务执行情况
    3.1 YARN整体资源情况
    3.2 Mapper运行情况详细信息
    3.3 Reducer运行情况详细信息
    3.4 任务历史信息
    在这里插入图片描述

作业历史服务JobHistoryServer

  • 1、JobHistoryServer：作业历史服务
    记录在yarn中调度的作业历史运行情况
  • 2、启动JobHistoryServer
    2.1 命令位置（$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh）
    2.2 启动命令（集群中每台都执行）
mr-jobhistory-daemon.sh start historyserver

2.3 验证（jps查看进程，存在JobHistoryServer进程证明启动成功）

YARN的资源调度器

  • 1、目前Hadoop作业调度器有三种
    FIFO：先进先出调度器
    Capacity Scheduler：容量调度器
    Fair Scheduler：公平调度器
  • 2、默认的作业调度器可以在yarn-default.xml文件中查看，属性如下
    yarn.resourcemanager.scheduler.class
    Hadoop版本2.6.0-cdh5.14.2的默认调度器是公平调度器

YARN常用命令

  • 1、任务管理
    • 1.1 查看正在运行的任务
yarn application -list

在这里插入图片描述

    • 1.2 杀掉正在运行的任务
yarn application -kill 任务id
  • 2、节点管理
    • 2.1 查看节点列表
yarn node -list

在这里插入图片描述

    • 2.2 查看节点状态
yarn node -status 节点ID

在这里插入图片描述

屡傻不改
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yarn app的状态 ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED
Ahuuua的博客
06-11 5510
转自：yarn RMApp-状态机实现https://www.jianshu.com/p/cb98a72c94ab 状态机介绍 在RM内部维护着所有Application的状态。对于每个Application都有一个RMApp对象与之对应。在RMApp的实现类RMAppImpl中，维护着对象的基本信息，包括起始时间、名字、用户、组等信息，其中最复杂的部分莫过于其维护的状态机。 状态与转换解...
spark yarn模式提交任务不成功（application state: ACCEPTED）
yang灬仔
03-10 3960
问题详情 　 电脑8G，目前搭建3节点的spark集群，采用YARN模式。 master分配2G，slave1分配1G,slave2分配1G。（在安装虚拟机时） exportSPARK_WORKER_MERMORY=1g （在spark-env.sh） export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60 （必须写） export SCALA_HOME=/usr/local/scala/scala-2.10.5 （必须写...
分布式资源管理和调度架构
最新发布
lonelymanontheway的博客
06-12 1037
概述、静态资源分配和动态资源分配、动态资源调度的优势、资源调度（资源、资源调度器和计算任务）；架构：中央式调度器、两级调度器、共享状态调度器、对比
查看YARN任务日志的几种方式
热门推荐
xyz的博客
11-05 5万+
1、通过history server 通过history server，直接在web ui上查看（如果任务异常退出，可能会看不到） All Applications application application log 2、通过yarn命令(用户要和提交任务的用户一致） 1）yarn application -list -appStates ALL（这个不显示时间信息） ...
分布式资源调度——YARN框架
weixin_34302561的博客
03-27 172
YARN产生背景 YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题： 单点故障 节点压力大 不易扩展 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker。 JobTracker：负责资源管理和作业调度TaskTra...
yarn application查询信息命令
weixin_43946446的博客
05-21 2253
yarn application 1、-list 列出所有 application 示例：yarn application -list 2、-appStates 跟 -list 一起使用，用来筛选不同状态的 application，多个用","分隔； 状态包含有：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED 示例：yarn application -list -appStates R
第1章分布式计算框架与资源调度1
08-08
常见的分布式资源调度框架有YARN、Mesos等。 211.2.1 YARN的概念 YARN（Yet Another Resource Negotiator）是Hadoop的资源调度框架。YARN的主要作用是将计算资源分配到多个计算节点上，并对计算资源进行调度和管理...
HadoopYARN大数据计算框架及其资源调度机制研究
11-27
YARN是一种通用的资源调度体系，它支持多种计算框架（如MapReduce、Spark、Storm等），让它们能够在同一个集群上运行。YARN的核心是资源管理器ResourceManager（RM），它将资源管理和作业调度/监控功能分离成两个...
伪分布式下Hadoop测试yarn启用cgroup对资源隔离的影响
12-10
Apache Hadoop作为一个强大的分布式计算框架，其资源管理器YARN（Yet Another Resource Negotiator）通过支持资源容器化，实现了对多个数据密集型应用的支持。然而，默认情况下，YARN仅提供内存资源管理，并未实现...
Yarn的配置与启动
wangato的博客
04-11 1万+
Yarn MapReduce
yarn ApplicationSubmissionContext 作用
花花公子
04-28 586
ApplicationSubmissionContext} represents all of the information needed by the {@code ResourceManager} to launch the {@code ApplicationMaster} for an application. ContainerLaunchContext of the cont...
jupyter-notebook 以yarn模式运行出现的问题及解决
liuSC123的博客
11-21 2680
jupyter-notebook 以yarn模式运行的出现的问题及解决方法 之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。 在做之前找了书和博客来看，总是有各种各样的问题，无法成功。现在特记录一下过程： 这里一共有两个虚拟机，一个做master,一个做slave1 虚拟机slave1安装spark slave1之前已经安装了hadoop，并且可以成功进行Hadoop集群运算。这里...
yarn 命令学习：yarn application
jkdcdlly的专栏
12-05 6743
yarn application 说明：打印  application(s) 报告，或者 kill 掉 application，共7个可选项 1、-list          列出所有 application 信息     示例：yarn  application -list     打印信息： Application-Id Applicat
Yarn作业信息的获取
ASIN的专栏
06-09 1万+
方式1–查看作业记录文件CDH中，在HDFS的/user/history/done目录下，包含了全部已完成的MR作业，done_intermediate包含了全部正在进行的作业。方式2–REST APIHadoop YARN - Introduction to the web services REST API’s通过一个示例作业的完整运行过程，介绍了其所用到的全部REST API，包括 MapRe
YARN 的架构是怎样的？YARN 的核心组件有哪些？
Shockang的博客
06-17 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 YARN是经典的主从（master/slave）结构，如下图所示。 大体上看，YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成，ResourceManager为主节点（master），NodeManager为从节点（slave）。 ApplicationM
分布式任务调度框架有哪些
06-08
3. Apache Hadoop YARN：Hadoop生态系统中的资源管理和任务调度框架，支持多种分布式计算框架。 4. Apache Flink：一个流式处理框架，支持批处理和流处理，具有高可靠性和高吞吐量。 5. Kubernetes：一个容器编排...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值