大数据学习心得-2020-09-17--简述yarn上常见的三种资源调度器

最新推荐文章于 2021-12-09 20:48:08 发布
最新推荐文章于 2021-12-09 20:48:08 发布
阅读量214 收藏
点赞数
分类专栏： 大数据学习笔记 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/airleaya/article/details/108648748
版权

yarn中的三种资源调度器

  • Hadoop中的作业调度器主要又三种

    • FIFO调度器
    • Capacity调度器
    • Fair调度器

    其中Hadoop2.7.2默认的时capacity调度器

先进先出调度器（FIFO）

在这里插入图片描述

  • 特点，所有作业被统一提交到一个队列中，hadoop按提交顺序依次运行这些作业

  • 缺点，FIFO调度器的调度策略过于简单，不仅不能满足多样化需求，也不能充分利用硬件资源

容器调度器（Capacity Scheduler）

在这里插入图片描述

  • capacity调度器由yahoo开发的多用户调度器
  • 以队列为单位划分资源，每个队列可设定一定比例的资源最低保证和使用上限
  • 当一个队列由剩余资源的时候可以共享给其他队列

公平调度器（Fair Scheduler）

在这里插入图片描述

  • 由FaceBook开发的多用户调度器
  • 其目的时让所有的作业随着时间的推移，都能获取等同的共享资源
  • 当一个作业运行时，它会使用集群上所有的资源，一旦有心得作业提交上来，系统会将空闲资源奉陪给新的作业每个任务大致上获取平等数量的资源
  • 同capacity调度器，以队列为单位划分资源，每个队列可设定一定比例的资源最低保证和使用上限
airleaya
关注
专栏目录
大数据之-Hadoop3.x_Yarn_资源调度器介绍说明---大数据之hadoop3.x工作笔记0140
添柴程序猿的专栏
01-04 1098
然后我们再来看一下yarn这个资源调度器怎么去用, 首先了解一下,yarn基础架构,yarn的工资机制, MapReduce,和hdfs,yarn是怎么协调工资的,然后 再去了解调度器和调度算法 然后再了解yarn在生产环境下需要配置哪些参数, 然后再学习命令行怎么操作yarn 然后再去看如何操作yarn, 生产环境下怎么配置参数 等 第4点,yarn的tool接口,就是来协调,比如我们MapReduce程序的输入, 输出,args[0],args[1],这个输入输出参数,原来我..
Hadoop面试题---Yarn的三个调度器和调度算法
qq_39872456的博客
02-15 3706
一、Yarn的三种调度器 （1）先进先出调度器（FIFO） （2）容量调度器(默认)（Capacity Scheduler） （3）公平调度器（Fair Scheduler） 二、具体细节和调度算法 1、先进先出调度器（FIFO） 单队列，根据作业的提交顺序，先来先服务。（一般不用） 2、容量调度器(默认)（Capacity Scheduler）特点： 1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。 2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。 3、灵活性：如果一
YARN:分布式资源调度框架
m0_47002117的博客
09-15 306
文章目录关于YARNYARN应用运行机制YARN与MapReduce1相比YARN中的调度YARN常用命令 关于YARN Apache YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统.YARN在Hadoop2版本后引入,原因在于Hadoop1版本的数据处理和资源调度主要依赖Map Reduce完成,JobTracker负责资源管理和程序调度,压力较大.即便YARN的最初目的是为了改善MapReduce的实现,但它具有足够的通用性,同样可以支持其
Yarn 资源调度器机制
知其然，知其所以然
11-18 446
一.目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。目前默认的资源调度器是Capacity Scheduler。 具体设置详见：yarn-default.xml文件 <property> <description>The class to use as the reso...
YARN——分布式资源调度框架简述
我玩的很开心的博客
07-06 446
hadoop分布式资源调度框架——yarn 一、Yarn基本架构 YARN主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 ResourceManager（RM） ResourceManager是 YARN中的全局资源管理器 ，相当于将集群各个机器可用的资源看做一个整体，然后进行统一管理和分配，它会接收来自各个节点 （NodeManager）的资源回报信息，并将这些信息按照一定的策略分配给应用程序。 Resource
大数据之资源调度器Yarn
qq_41378127的博客
04-25 520
1、Yarn的基本架构 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 2、Yarn的工作原理 可以将上图描述为： （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Appli...
前端必会工具：yarn
weixin_44828588的博客
07-02 2254
yarn 是在工作中离不开的工具，但在工作中，很多人基本只会使用yarn install，而且会手动删除node-modules，或删除yarn.lock文件等不规范操作。本文将从一些基础的知识点开始介绍，循序渐进的让你对Yarn有一个更深入的了解，来保证规范的使用yarn，避免一些隐藏bug的产生。 本文主要介绍以下知识： 什么是registry 依赖的版本含义及写法 依赖类型及区别（devDependences，devDependences，peerDependences，opti...
藏经阁-深度学习+大数据-TensorFlow on Yarn.pdf
最新发布
09-11
深度学习+大数据-TensorFlow on Yarn.pdf 本文档主要介绍了深度学习与大数据结合的解决方案，特别是 TensorFlow on Yarn 的设计和实现。TensorFlow 是一个流行的深度学习框架，但是它存在一些痛点，如手动指定机器...
大数据平台搭建-ambari,yarn的搭建
06-27
基于ambari安装大数据平台，已通过测试，按照文档步骤可以完成安装。
大数据(八) --MapReduce运行架构, Yarn资源调度流程
七宝.博客
10-18 1612
MapReduce运行架构前言Hadoop1.x版本Hadoop2.x版本 前言   某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机要想起飞, 需要向空管局申请航线, 申请成功后, 这位富人又雇佣了一位飞行员. 最后飞行员开启飞机, 这位富人如愿坐上心仪的飞机并翱翔天际.   上述流程可以概...
Hadoop（七）YARN的资源调度
dengshuabi6933的博客
05-27 540
一、YARN 概述 　　YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序 　　YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等...
总结YARN中的三种资源调度器（Resource manager中）
airyv的博客
07-20 3887
YARN是对应用进行资源分配，应用是指applicatoin master，用来处理job的YARN的应用进程。 （1）MapReduce采用的模型是一个用户作业对应一个应用。 （2）Spark采用的是作业的每个工作流或每个用户的对话对应一个应用。效率比第一种高。 （3）多个用户共享一个长期运行的应用。 FIFO调度器（FIFO Scheduler） Hadoop最初设计时的调度器，为单队列调度器，无法充分利用硬件资源。先进先出队列，先为第一个应用请求资源，第一个满足后再依次为队列下一个提供服务，不适合共.
YARN中资源调度器的那些事儿
阿尼古
08-02 786
YARN中资源调度器的那些事儿，接上次Yarn的那些事儿，来扯一下调度器... YARN三种资源调度器 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有...
大数据中hadoop中yarn的调度算法
a18379692263的博客
12-09 1722
目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。 CDH 框架默认调度器是 Fair Scheduler。不同的设置可以在yarn-default.xml文件中查看。 1、先进先出调度器（FIFO） FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先...
Hadoop Yarn 的三种资源调度器详解
需求是无耻的
08-08 8366
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中有三种调...
大数据篇--Yarn资源队列配置和使用
小强签名设计 的博客
09-30 8375
文章目录一、前言二、调度器的选择三、Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler 一、前言   理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。   试想一下，你现在所在
Hadoop yarn资源调度——主要组件及介绍
Fenggms的博客
09-29 2877
yarn主要组件及介绍yarn的概述：yarn的主要组件各个组件介绍ResourceManager：NodeManager：ApplicationMaster：Container：yarn当中各个主要组件的作用resourceManager主要作用：NodeManager主要作用：ApplicationMaster主要作用：Container主要作用：yarn的官网文档yarn监控界面 yarn的...
yarn 2.0 （berry）尝鲜
eswang的CSDN博客
01-28 4086
前言 yarn2发布在即，相对于yarn1（1.21.1），这可以说是一个完全不同的软件，但是它从根本上改变了npm包管理方式，当生态成熟之时，可以说是前端开发的一大利器。 升级 npm install -g yarn@berry 目前还只能通过npm安装。注意安装之后新的cli可能会让你很不舒服，你无法通过global查看全局安装的yarn包，你甚至需要执行: yarn run 来实现: ...
YARN的资源管理器
zcc_0015的专栏
06-24 2611
在YARN中，资源调度器（ResourceScheduler）是一个非常核心的部件，它负责将各个节点上的资源封装成container，并按照一定的约束条件（按队列分配，每个队列有一定的资源分配上限等）分配给各个application。 （注意：本文分析基于hadoop-2.0.3-alpha） YARN的资源管理器实际上是一个事件处理器，它需要处理来自外部的6种SchedulerEvent类型
Hadoop-YARN：从单点故障到资源优化的革新
RM包含调度器和应用程序管理器，其中调度器根据数据位置和策略决定容器的分配，确保计算与数据的紧密配合。容器作为动态资源分配单元，为应用程序提供了更精细的资源控制。 另一个重要组件是ApplicationMaster (AM)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值