YARN资源配置

最新推荐文章于 2024-07-03 08:37:28 发布
最新推荐文章于 2024-07-03 08:37:28 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/87385743
版权

Yarn资源配置需要平衡服务器cpu，内存，磁盘资源。Hortonworks推荐两个Container使用1个cpu，1块磁盘能达到很好平衡。

   Hortonworks提供了yarn内存参数设置脚本，执行yarn-utils.sh(下载地址https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-9.html)脚本生成配置参数。

 示例：python yarn-utils.py -c 40 -m 224 -d 12 -k False

 参数：

Option

Description

-c CORES

The number of cores on each host.

-m MEMORY

The amount of memory on each host in GB.

-d DISKS

The number of disks on each host.

-k HBASE

"True" if HBase is installed, "False" if not.

 

内存配置：

    系统及hbase预留内存参考：

Total Memory per Node

Recommended Reserved System Memory

Recommended Reserved HBase Memory
最低0.47元/天 解锁文章
kevin_wf
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Yarn】hadoop的yarn资源队列
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
Yarn资源分配示例
数据科学汇集
05-23 6773
Yarn资源分配示例 1 简介 此手册应用于yarn资源按照队列分配的情景。 2 准备 2.1 环境说明 hadoop版本: hadoop-2.5.0-cdh5.3.3 3 配置 3.1 配置说明 1) Yarn-site.xml里配置yanr能用到的资源总数以及公平调度策略所在路径 #在虚拟机关机情况下，选中后点击设置，在控制器SATA处点击右边的加号以创建虚拟硬盘。
最全YARN 让你彻底搞明白YARN资源分配，2024年最新写给互联网大厂员工的真心话
asdakdnfh的博客
05-11 420
以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！要想知道YARN集群上一共有多少资源很容易，我们通过YARN的web ui就可以直接查看到。这张图是YARN的经典任务执行流程图。先简单来梳理提交任务的流程。
YARN动态资源池配置
08-14
YARN动态资源池配置，YARN动态资源池配置，YARN动态资源池配置
Hadoop：yarn资源配置
Joseph25的博客
06-30 1103
yarn资源配置
## YARN运行资源配置
chenjunshi123的博客
01-12 4833
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
yarn配置文件.7z
12-25
本压缩包“yarn配置文件.7z”包含了与Yarn工作流相关的三个核心文件：`package.json`、`yarn.lock`和`yarnrc`，它们对于理解和管理Node.js项目中的依赖关系至关重要。 1. **package.json**：这是每个Node.js项目的...
yarn 前端打包工具指定配置文件
08-10
本文将详细介绍如何在 `Yarn` 中指定配置文件进行前端打包。 首先，了解 `Yarn` 的工作原理。`Yarn` 遵循 `npm` 的包管理和工作流程，但它的优势在于缓存策略和锁定文件（`yarn.lock`），确保在不同环境下有相同...
Yarn资源调用demo案例
09-05
本示例“Yarn资源调用demo案例”旨在帮助用户理解如何在YARN上运行应用程序，以及如何有效地管理资源。下面将详细介绍YARN的工作原理、配置和应用实例。 一、YARN概述 YARN是Hadoop生态系统中的核心组件之一，主要...
node、npm、yarn环境安装与配置
02-02
在IT行业中，Node.js、npm和...通过阅读`yarn安装与使用.md`和`node.js与npm安装.md`这两个文档，你将得到更深入的指导，而`resources`目录可能包含了一些辅助资源，如示例代码或安装指南，有助于你更好地理解和实践。
大数据资源yarn配置
qianzhina的专栏
07-05 285
Yarn部署： nn nn dn jn zkfc zk RS NM node001 * * * node002 * * * * * * node003 * * * * * node004 ...
YARN内存配置计算脚本
07-14
一个计算yarn内存配置的python脚本yarn-util.py，该脚本有四个参数 参数 描述 -c CORES 每个节点CPU核数 -m MEMORY 每个节点内存总数（单位G） -d DISKS 每个节点的硬盘个数 -k HBASE 如果安装了Hbase则为True，否则为False
YARN多资源队列配置和使用
woailyoo0000的博客
01-23 4470
一. YARN的由来 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。 所以YARN可以是实现Hadoop集群的资源共享，不仅仅可以跑MapReduce，还可以跑Spark，Flink。 二.YARN架构 YARN主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个. 其中: ResourceManager: 这是主节点，主要负责集群资源的分配和管理 NodeManager:
YARN的资源管理和调度
互联网知识分享
07-23 710
1.1 YARN简介）是一个用于集群资源管理和作业调度的开源框架。它是Hadoop的第二代资源管理平台，相比于Hadoop的第一代，即MapReduceYARN提供了更为灵活和可扩展的资源管理和作业调度功能。YARN的设计目标是使Hadoop集群能够同时运行多个计算框架，提高集群资源的利用率和作业的执行效率。1.2 YARN的组成与角色YARN由（资源管理器）和（节点管理器）两个核心组件构成。负责集群级别的资源调度和分配，负责每个节点的资源管理和监控。
2020-09-17
ObjectException的博客
09-17 346
Yarn资源队列配置和使用 前言 试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些yarn的资源调度器。 在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO，即按照用户提
yarn的安装与配置（秒懂yarn用法）
最新发布
07-03 1344
在现代Web开发中，包管理工具是不可或缺的工具。Yarn作为一个快速、可靠和安全的JavaScript包管理器，因其出色的性能和丰富的功能备受开发者青睐。本文将详细介绍Yarn的安装与配置，并通过实例展示其强大用法。
Yarn——常用配置、常见配置案例
xdx_dili的博客
08-25 1995
Yarn——常用配置、常见配置案例
YARN配置的容器和资源调度策略
互联网知识分享
07-23 447
是一个用于集群资源管理和作业调度的开源框架。它采用了分布式应用程序的单独管理和调度模型，通过将应用程序划分为多个容器来实现资源的有效利用。本文将介绍YARN中容器和资源调度策略的原理和使用方法。本文介绍了YARN中容器和资源调度策略的原理和使用方法，包括容器调度策略的FIFO调度、容量调度和公平调度，以及资源调度策略的容器随机分配、容器优先级调度和权重调度。通过合理选择和配置调度策略，可以提高应用程序的运行效率和集群资源的利用率。
yarn队列资源配置
08-23
对于YARN队列资源配置，你可以通过以下步骤进行设置： 1. 打开YARN的配置文件`yarn-site.xml`。该文件位于Hadoop集群的配置目录下（默认路径为`/etc/hadoop/conf`）。 2. 在`yarn-site.xml`中，找到`yarn.scheduler.capacity.root.queues`属性。该属性定义了根队列的名称，可以设置多个队列，用逗号分隔。 3. 为每个队列设置资源限制。在`yarn-site.xml`中，找到`yarn.scheduler.capacity.root.<queue-name>.capacity`属性，其中`<queue-name>`为队列的名称。该属性定义了队列的资源占用比例，取值范围为0到100。 4. 可以使用以下属性来配置队列资源限制： - `yarn.scheduler.capacity.root.<queue-name>.maximum-capacity`：定义队列的最大资源占用比例。 - `yarn.scheduler.capacity.root.<queue-name>.user-limit-factor`：定义用户在队列中的资源使用限制因子，默认为1。设置大于1的值可以限制用户使用的资源量。 - `yarn.scheduler.capacity.root.<queue-name>.maximum-am-resource-percent`：定义队列中Application Master可以使用的最大资源百分比。 5. 保存并关闭`yarn-site.xml`文件。 6. 重启YARN服务，使配置生效。 通过以上步骤，你可以配置YARN队列的资源限制和优先级。请注意，在设置资源限制时需要根据集群的实际情况和需求进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值