CDH动态资源池--yarn资源的任务队列

最新推荐文章于 2023-03-10 14:57:22 发布
最新推荐文章于 2023-03-10 14:57:22 发布
阅读量8.5k 收藏 5
点赞数 2
分类专栏： 【大数据】CDH管理及优化 文章标签： yarn 应用 需求
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/53995698
版权

需求：

1、让不同的application任务，在不同的队列中运行任务

2、这些队列是并行执行的，相互不干扰

目录：

1、队列的配置

2、队列运行命令

3、队列运行展现

1、队列的配置

这里写图片描述

这里写图片描述

2、队列运行命令

--queue root.streaming

这里写图片描述

3、队列运行展现

这里写图片描述

北京小辉微信公众号

在这里插入图片描述

大数据资料分享请关注
北京小辉
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop20：【案例】YARN多资源队列配置和使用
weixin_40612128的博客
03-03 2190
案例：YARN多资源队列配置和使用 我们的需求是这样的，希望增加2个队列，一个是online队列，一个是offline队列 然后向offline队列中提交一个mapreduce任务 online队列里面运行实时任务 offline队列里面运行离线任务，我们现在学习的mapreduce就属于离线任务 实时任务我们后面会学习，等讲到了再具体分析。 这两个队列其实也是我们公司中最开始分配的队列，不过随着后期集群规模的扩大和业务需求的增加，后期又增加了多个队列。 在这里我们先增加这2个队列，后期再增加多个也是一样的
资源调度_CDH6.0.x Yarn 调度资源指南
weixin_42355665的博客
01-04 439
Yarn 工作架构最近随着集群大家开始频繁使用集群，资源调度的问题越发的凸显出来。需要更加深入的了解 yarn 资源调度的原理，以及到底在背后做了一些什么事情。来看一下下面这张图。yarn 里面有两个大的角色，这个也很容易在 yarn 里面的配置看到。一个是 Resource Manager 类似于 Master 角色负责任务分配，他会往 Node Manager 分配一个 App Master...
Hadoop: Fair Scheduler
热门推荐
Deegue
10-10 2万+
介绍 Fair Scheduler是公平分配YARN资源的方法之一。默认情况下，Fair Scheduler只基于内存来保证公平分配，通过配置yarn.scheduler.fair.cpu-scheduling-enabled为true，可以基于内存+CPU来分配资源。 当只有一个application在运行时，它可以使用整个集群资源。当其他app提交后，资源会被释放并分配给新来的app，这样就能保证大家拥有大致相同的资源。Fair Scheduler还可以根据每个app的权重、优先级来确定分配资源的比例。
hbase日常运维管用命令，region管理
weixin_30414155的博客
12-09 679
hbase日常运维管用命令，region管理 1 Hbase日常运维 1.1 监控Hbase运行状况 1.1.1 操作系统 1.1.1.1 IO 群集网络IO，磁盘IO，HDFS IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大...
CDH Yarn资源队列划分管理
高矮
06-02 1万+
CDH Yarn资源队列划分管理 场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的 CDH版本：5.11.0 配置： 1、 yarn资源队列参数设置： (1) yarn.scheduler.fair.user-as-default-queue false 根据图中中文解释可知，这个参数设置为false后，没有创建资源队列的用户，提交任务时，任...
CDH Manager API 操作Yarn资源池
shirukai
12-22 3483
CDH Manager API 操作Yarn 资源池 版本说明：CDH 5.11.0 API版本：v16 1 API 权限认证 在使用REST API 访问 CDH Manager 提供的相关接口的时候，需要进行权限认证。认证的类型是 Basic Auth。在java编程中将如下所示生成authorization，然后将该认证信息添加到请求头信息中即可。 private static Stri...
Spark动态资源分配-DynamicResourceAllocation
02-26
Spark中，所谓资源单位一般指的是executors...假设有这样的场景，如果使用Hive，多个用户同时使用hive-cli做数据开发和分析，只有当用户提交执行了HiveSQL时候，才会向YARN申请资源，执行任务，如果不提交执行，无非就
CDH集群YARN动态资源池的规划与管理.docx
10-11
2 CDH集群上YARN的动态资源池配置 2.1 参数配置 2.1.1 yarn.admin.acl 2.1.2 yarn.scheduler.fair.allow-undeclared-pools 2.2 资源池配置 2.3 放置规则设置 2.4 计划模式 2.5 用户限制 3 集群动态资源池规划 3.1 ...
0439-Hive启用Sentry后如何限制用户提交Yarn资源池
01-07
温馨提示：如果使用电脑...通过放置策略可以自动的将用户分的作业分配到对应的资源池，如果用户手动指定资源池则也可以正常提交作业到指定的资源池，因此需要结合Yarn队列的ACL控制，可以防止用户随意指定资源池问题。
CM6.2.1和CDH6.2.1资源下载-CDH6.2.1-Hadoop文档类资源
最新发布
03-19
本资源包含redhat7版本的CM6.2.1和CDH6.2.1： cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm jdk-8u151-linux-x64.rpm ...CDH-6.2.1-1.cdh6.2.1.p0.14
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
打印队列查看
06-06
打印控制 查看打印队列，并对其进行控制和管理。 很方便的一组代码。
Yarn常用命令
weixin_48626604的博客
03-14 1180
Yarn常用命令 yarn application 查看任务 列出所有Application yarn application -list 根据Application状态过滤：yarn application -list -appStates 状态（所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、FILLED） yarn application -list -appStates FINISHED Kil
Hadoop（五）Yarn
ks_1998的博客
03-14 4628
Hadoop（五）Yarn
Yarn新建队列分支并运行应用
zhongmingyu
03-10 373
编辑capacity-scheduler.xml。
YARN 查看 队列，并切换 application 到 指定队列
想练武，就得下功夫
12-27 842
YARN 查看 队列，并切换 application 到 指定队列
CentOS7安装CDH 第十三章：CDH资源池配置
weixin_30852367的博客
05-15 234
相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH...
2020-09-17
ObjectException的博客
09-17 325
Yarn资源队列配置和使用 前言 试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些yarn的资源调度器。 在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO，即按照用户提
yarn历史记录,yarn添加队列
weixin_45657738的博客
05-11 1400
一. 历史记录配置 yarn-site.xml <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
2. 执行以上命令后，YARN资源管理器会为任务分配相应的资源，并启动作业执行。 3. 可以通过YARN界面查看作业的运行状况，包括Container的个数、启动时间、资源使用情况等。 4. 执行完成后，可以在日志文件和任务的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京小辉

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值