【Ambari】设置yarn队列资源为绝对值[memory=10240,vcores=12,yarn.io/gpu=4]

最新推荐文章于 2022-10-24 22:51:43 发布
最新推荐文章于 2022-10-24 22:51:43 发布
阅读量4.1k 收藏 3
点赞数 1
分类专栏： Hadoop Ambari 文章标签： ambari hadoo yarn java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiajane/article/details/103249563
版权

目录

1.介绍

hadoop 3.0以后支持以绝对值方式指定yarn资源队列memory vcores及gpu cores的大小，2.x版本只能指定每个队列使用内存资源的百分比。

由于集群总容量可能会有所不同，因此资源配置值可使用百分比表示。
在capacity-scheduler.xml配置如下：
6:1:3的比例分配集群资源，engineering：60%，support：10%，30%

Property: yarn.scheduler.capacity.root.engineering.capacity
Value: 60

Property: yarn.scheduler.capacity.root.support.capacity
Value: 10

Property: yarn.scheduler.capacity.root.marketing.capacity
Value: 30

如果希望指定为每个队列指定资源绝对值，可如下设置：

Property: yarn.scheduler.capacity.root.engineering.capacity
Value: [memory=10240,vcores=12,yarn.io/gpu=4]

Property: yarn.scheduler.capacity.root.support.capacity
Value: [memory=10240,vcores=12,yarn.io/gpu=4]

Property: yarn.scheduler.capacity.root.marketing.capacity
Value: [memory=10240,vcores=12,yarn.io/gpu=4]

如果不提供内存或vcore值，则使用父队列的资源值。

如果想实现资源可弹：
将maximum capacity指定为浮点百分比值。必须将maximum capacity设置为高于或等于每个队列的absolute capacity。该值设置为-1，将maximum capacity设置为100%。在下面的示例中，engineering队列的最大容量设置为70%。

Property: yarn.scheduler.capacity.root.engineering.maximum-capacity
Value: 70

另外
capacity-scheduler.xml 配置资源计算方式

0 yarn.scheduler.capacity.resource-calculator description
1 org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator 默认值，在调度的时候只考虑内存
2 org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 同时支持内存和cpu

2 修改资源队列 API步骤

2.1 获取capacity-scheduler配置的tag和version

GET /api/v1/clusters/{clusterName}?fields=Clusters/desired_configs/{configName}

curl -X GET \
  'http://10.211.55.20:8080/api/v1/clusters/ctest?fields=Clusters/desired_configs/capacity-scheduler' \
  -H 'X-Requested-By: ambari' \
  --user 'admin:admin'

响应：
{
   
  "href" : "http://10.211.55.20:8080/api/v1/clusters/ctest?fields=Clusters/desired_configs/capacity-scheduler",
  "Clusters" : {
   
    "cluster_name" : "ctest",
    "desired_configs" : {
   
      "capacity-scheduler" : {
   
        "tag" : "version1574727396161",
        "version" : 21
      }
    }
  }
}

2.2 获取capacity-scheduler指定版本的配置

GET /api/v1/clusters/{clusterName}/configurations?type={configName}& tag={tagVersion}

curl -X GET \
  'http://10.211.55.20:8080/api/v1/clusters/ctest/configurations?type=capacity-scheduler&tag=version1574727396161' 

响应：
{
   
  "href" : "http://10.211.55.20:8080/api/v1/clusters/ctest/configurations?type=capacity-scheduler&tag=version1574727396161",
  "items" : [
    {
   
      "href" : "http://10.211.55.20:8080/api/v1/clusters/ctest/configurations?type=capacity-scheduler&tag=version1574727396161",
      "tag" : "version1574727396161",
      "type" : "capacity-scheduler",
      "version" : 21,
      "Config" : {
   
        "cluster_name" : "ctest",
        "stack_id" : "HDP-3.1"
      },
      "properties" : {
   
        "yarn.scheduler.capacity.maximum-am-resource-percent" : "0.2",
        "yarn.scheduler.capacity.maximum-applications" : "10000",
        "yarn.scheduler.capacity.node-locality-delay" : "40",
        "yarn.scheduler.capacity.queue-mappings-override.enable" : "false",
        "yarn.scheduler.capacity.resource-calculator" : "org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator",
        "yarn.scheduler.capacity.root.accessible-node-labels" : "*",
        "yarn.scheduler.capacity.root.acl_administer_queue" : "*",
        "yarn.scheduler.capacity.root.acl_submit_applications" : "*",
        "yarn.scheduler.capacity.root.capacity" : "100",
        "yarn.scheduler.capacity.root.default.acl_submit_applications" : "*",
        "yarn.scheduler.capacity.root.default.capacity" : "[memory=1024,vcores=1]",
        "yarn.scheduler.capacity.root.default.maximum-capacity" : "[memory=2048,vcores=2]",
        "yarn.scheduler.capacity.root.default.priority" : "0",
        "yarn.scheduler.capacity.root.default.state" : "RUNNING",
        "yarn.scheduler.capacity.root.default.user-limit-factor" : "1",
        "yarn.scheduler.capacity.root.bj.acl_administer_queue" : "*",
        "yarn.scheduler.capacity.root.bj.acl_submit_applications" : "*",
        "yarn.scheduler.capacity.root.bj.capacity" : "[memory=1024,vcores=1]",
        "yarn.scheduler.capacity.root.bj.maximum-capacity" : "[memory=2048,vcores=2]",
        "yarn.scheduler.capacity.root.bj.minimum-user-limit-percent" : "100",
        "yarn.scheduler.capacity.root.bj.ordering-policy" : "fifo",
        "yarn.scheduler.capacity.root.bj.priority" : "0",
        "yarn.scheduler.capacity.root.bj.state" : "RUNNING",
        "yarn.scheduler.capacity.root.bj.user-limit-factor" : "1",
        "yarn.scheduler.capacity.root.hb.acl_administer_queue" : "*",
        "yarn.scheduler.capacity.root.hb.acl_submit_applications" : "*",
        "yarn.scheduler.capacity.root.hb.capacity" : "[memory=1024,vcores=1]",
        "yarn.scheduler.capacity.root.hb.maximum-capacity" : "[memory=2048,vcores=2]",
        "yarn.scheduler.capacity.root.hb.minimum-user-limit-percent" : "100",
        "yarn.scheduler.capacity.root.hb.ordering-policy" : "fifo",
        "yarn.scheduler.capacity.root.hb.priority" : "0",
        "yarn.scheduler.capacity.root.hb.state" : "RUNNING",
        "yarn.scheduler.capacity.root.hb.user-limit-factor" : "1",
        "yarn.scheduler.capacity.root.priority" : "0",
        "yarn.scheduler.capacity.root.queues" : "default,bj,hb"
      }
    }
  ]
}

2.3 通过Cluster Metrics API获取yarn可分配资源

即集群有多少内存、vcore可供分配

GET /ws/v1/cluster/metrics

curl -X GET \
  http://10.211.55.20:8088/ws/v1/cluster/metrics \
  -H 'X-Requested-By: ambari'

响应：

{
   
    "clusterMetrics": {
   
        "appsSubmitted": 1,
        "appsCompleted": 0,
        "appsPending": 0,
        "appsRunning": 0,
        "appsFailed": 0,
        "appsKilled": 1,
        "reservedMB": 0,
        "availableMB": 15360,
        "allocatedMB": 0,
        "reservedVirtualCores": 0,
        "availableVirtualCores": 6,
        "allocatedVirtualCores": 0,
        "containersAllocated": 0,
        "containersReserved": 0,
        "containersPending": 0,
        "totalMB": 15360,
        "totalVirtualCores": 6,
        "totalNodes": 1,
        "lostNodes": 0,
        "unhealthyNodes": 0,
        "decommissioningNodes": 0,
        "decommissionedNodes": 0,
        "rebootedNodes": 0,
        "activeNodes": 1,
        "shutdownNodes": 0,
        "totalUsedResourcesAcrossPartition": {
   
            "memory": 0,
            "vCores": 0,
            "resourceInformations": {
   
                "resourceInformation": [
                    {
   
                        "maximumAllocation": 9223372036854775807,
                        "minimumAllocation": 0,
                        "name": "memory-mb",
                        "resourceType": "COUNTABLE",
                        "units": "Mi",
                        "value": 0
                    },
                    {
   
                        "maximumAllocation": 9223372036854775807,
                        "minimumAllocation": 0,
                        "name": "vcores",
                        "resourceType": "COUNTABLE",
                        "units": "",
                        "value": 0
                    }
                ]
            }
        },
        "totalClusterResourcesAcrossPartition": {
   
            "memory": 15360,
            "vCores": 6,
            "resourceInformations": {
   
                "resourceInformation": [
                    {
   
                        "maximumAllocation": 9223372036854775807,
                        "minimumAllocation": 0,
                        "name": "memory-mb",
                        "resourceType": "COUNTABLE",
                        "units": "Mi",
                        "value": 15360
                    },
                    {
   
                        "maximumAllocation": 9223372036854775807,
                        "minimumAllocation": 0,
                        "name": "vcores",
                        "resourceType": "COUNTABLE",
                        "units": "",
                        "value": 6
                    }
                ]
            }
        }
    }
}

从响应中我们要获取的关键信息：

  • 内存：总量、已使用量、可使用量等等
  • vcores: 总量、已使用量、可使用量等等

2.4 修改配置

特别提示:

  • 请求体是text/plain不是json
  • tag不能存在，最好用时间戳date.getTime()
    如"tag": “version1574670680695”
  • 在资源分配的时候，所有子队列的资源总和要等于父队列的资源，所以在资源分配的时候，可以考虑先将所有资源分配给default队列，将他做为一个资源池，然后添加队列就从default队列中分出一些资源，删除队列就把相应资源再放回到default队列中。（这是一个队列资源管理的思路吧）

PUT /api/v1/clusters/{clusterName}

curl -X PUT \
  http://10.211.55.20:8080/api/v1/clusters/ctest \
  -H 'X-Requested-By: ambari' \
  -d '{
    "Clusters": {
        "desired_config": {
            "tag": "version1574670680695",
            "type": "capacity-scheduler",
            "properties": {
                "yarn.scheduler.capacity.maximum-am-resource-percent": "0.2",
                "yarn.scheduler.capacity.maximum-applications": "10000",
                "yarn.scheduler.capacity.node-locality-delay": "40",
                "yarn.scheduler.capacity.queue-mappings-override.enable": "false",
                "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator",
                "yarn.scheduler.capacity.root.accessible-node-labels": "*",
                "yarn.scheduler.capacity.root.acl_administer_queue": "*",
                "yarn.scheduler.capacity.root.acl_submit_applications": "*",
                "yarn.scheduler.capacity.root.capacity": "[memory=10240,vcores=10]",
                "yarn.scheduler.capacity.root.default.acl_submit_applications": "*",
                "yarn.scheduler.capacity.root.default.capacity": "[memory=1024,vcores=1]",
                "yarn.scheduler.capacity.root.default.maximum-capacity": "[memory=2048,vcores=2]",
                "yarn.scheduler.capacity.root.default.priority": "0",
                "yarn.scheduler.capacity.root.default.state": "RUNNING",
                "yarn.scheduler.capacity.root.default.user-limit-factor": "1",
                "yarn.scheduler.capacity.root.bj.acl_administer_queue": "*",
                "yarn.scheduler.capacity.root.bj.acl_submit_applications": "*",
                "yarn.scheduler.capacity.root.bj.capacity": "[memory=1024,vcores=1]",
                "yarn.scheduler.capacity.root.bj.maximum-capacity": "[memory=2048,vcores=2]",
                "yarn.scheduler.capacity.root.bj.minimum-user-limit-percent": "100",
                "yarn.scheduler.capacity.root.bj.ordering-policy": "fifo",
                "yarn.scheduler.capacity.root.bj.priority": "0",
                "yarn.scheduler.capacity.root.bj.state": "RUNNING",
                "yarn.scheduler.capacity.root.bj.user-limit-factor": "1",
                "yarn.scheduler.capacity.root.hb.acl_administer_queue": "*",
                "yarn.scheduler.capacity.root.hb.acl_submit_applications": "*",
                "yarn.scheduler.capacity.root.hb.capacity": "[memory=1024,vcores=1]",
                "yarn.scheduler.capacity.root.hb.maximum-capacity": "[memory=2048,vcores=2]",
                "yarn.scheduler.capacity.root.hb.minimum-user-limit-percent": "100",
                "yarn.scheduler.capacity.root.hb.ordering-policy": "fifo",
                "yarn.scheduler.capacity.root.hb.priority": "0",
                "yarn.scheduler.capacity.root.hb.state": "RUNNING",
                "yarn.scheduler.capacity.root.hb.user-limit-factor": "1",
                "yarn.scheduler.capacity.root.priority": "0",
                "yarn.scheduler.capacity.root.queues": "default,bj,hb"
            }
        }
    }
}'

2.5 刷新队列配置

特别提示： 请求体是text/plain不是json

POST /api/v1/clusters/{clusterName}/requests

curl -X POST \
  http://10.211.55.20:8080/api/v1/clusters/ctest/requests \
  -H 'X-Requested-By: ambari' \
  -d '{
    "Requests/resource_filters": [
        {
            "service_name": "YARN",
            "hosts": "host-10-211-55-20",
            "component_name": "RESOURCEMANAGER"
        }
    ],
    "RequestInfo": {
        "parameters/forceRefreshConfigTags": "capacity-scheduler",
        "context": "Refresh YARN Capacity Scheduler",
        "command": "REFRESHQUEUES"
    }
}'

2.6 获取scheduler Info,查看各队列使用情况

调度资源包含有关集群中配置的当前调度的信息。 它目前支持Fifo和Capacity Scheduler。 根据配置哪个调度程序，您将获得不同的信息，因此请务必查看类型信息。

capacity scheduler 支持分层队列。 这个请求将打印有关所有队列及其所有子队列的信息。
以capacityScheduler为例：

GET /ws/v1/cluster/scheduler

curl -X GET \
  http://10.211.55.20:8088/ws/v1/cluster/scheduler

响应信息：(响应太长，queue有删减只留了一个default)
{
   
    "scheduler": {
   
        "schedulerInfo": {
   
            "type": "capacityScheduler",
            "capacity": 100.0,
            "usedCapacity": 33.333336,
            "maxCapacity": 100.0,
            "queueName": "root",
            "queues": {
   
                "queue": [
                    {
   
                        "type": "capacitySchedulerLeafQueueInfo",
                        "capacity": 59.98047,
                        "usedCapacity": 55.573647,
                        "maxCapacity": 59.98047,
                        "absoluteCapacity": 59.98047,
                        "absoluteMaxCapacity": 59.98047,
                        "absoluteUsedCapacity": 33.333336,
                        "numApplications": 14,
                        "queueName": "default",
                        "state": "RUNNING",
                        "resourcesUsed": {
   
                            "memory": 5120,
                            "vCores": 2,
                            "resourceInformations": {
   
                                "resourceInformation": [
                                    {
   
                                        "maximumAllocation": 9223372036854775807,
                                        "minimumAllocation": 0,
                                        "name": "memory-mb",
最低0.47元/天 解锁文章
时间的美景
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据篇--Yarn资源队列配置和使用
小强签名设计 的博客
09-30 8118
文章目录一、前言二、调度器的选择三、Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler 一、前言   理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。   试想一下，你现在所在
【Ambari】yarn资源调度之CapacityScheduler
人生所向，皆是美好
11-28 3531
目录1.介绍1.1 CapacityScheduler1.1.1 CapacityScheduler介绍1.1.2 启用CapacityScheduler1.1.3 设置队列1.1.3.1 队列特性1.1.3.1 队列间调度1.1.3.1 ACLs控制队列权限1.1.4 定义队列映射策略Mapping Policies1.1.4.1 为用户和组配置到特定队列的队列映射1.1.4.2 为用户和组配置...
【Hive】使用Ambari修改 默认队列
康师傅没有眼泪
06-15 2882
Ambari 修改hive 默认的任务执行队列
yarn集群上内存和cpu调优和设置
weixin_33811539的博客
06-08 622
为什么80%的码农都做不了架构师？>>> ...
Ambari2.7.3-HDP3.0.1-Yarn开启CPU调度和隔离
TT-Learning
01-01 2277
文章目录问题：开启：解决： 问题： 安装好Yarn组件，Yarn组件对CPU的调度和隔离（CPU Scheduling and Isolation）默认是关闭的。 Ambari Web UI --> YARN --> CONFIGS --> SETTINGS --> CPU 开启： 打开CPU调度和隔离按钮 重启相关组件 在启动Yarn组件时，NodeManager...
ambai中tez任务占用yarn内存过多
AnameJL的博客
10-24 2099
计算资源调优
yarn-v0.23.2.tar.gz
07-22
yarn-v0.23.2.tar.gz 在安装ambari,源码编译的时候下载的文件有问题 手动下载 地址 https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz
Ambari2.1.0安装配置(hadoop yarn spark集群安装配置) .pdf
04-02
Ambari2.1.0安装配置(hadoop yarn spark集群安装配置)
ludanss-ambari-yarn-utils-master.zip
07-14
描述中的“运行脚本 python yarn-utils.py -c 16 -m 64 -d 4 -k True”表明这个压缩包包含一个名为`yarn-utils.py`的Python脚本，该脚本可能用于配置或优化YARN的设置。参数解析如下： - `-c 16` 指定了容器...
[Ambari]==Ambari+Hadoop3集成impala3.2、kudu1.10.0
11-26
ambari2.7.5集成HDP3,本身不带impala、kudu 故集成cloudera的impala、kudu安装方式 ambari插件安装方式。 解压放到/var/lib/ambari-server/resources/stacks/HDP/3.1/services/下
yarn、spark配置优化
liu82327114的博客
11-29 471
在内存和磁盘很大的集群上装好ambari之后对yarn和spark相关的配置做如下优化修改 yarn： 每个节点可申请的内存应该配置到节点总内存的百分之八十左右。   每个节点可申请的cpu核数需要配置到机器cpu核数的最大 如果连接hiveserver2、spark thrift server 的数量很大需要调大     spark：  spark并行执行
[大数据之Yarn]——资源调度浅学
weixin_33738555的博客
12-06 290
在hadoop生态越来越完善的背景下，集群多用户租用的场景变得越来越普遍，多用户任务下的资源调度就显得十分关键了。比如，一个公司拥有一个几十个节点的hadoop集群，a项目组要进行一个计算任务，b项目组要计算一个任务，集群到底先执行哪个任务？如果你需要提交1000个任务呢？这些任务又是如何执行的？ 为了解决上面的问题，就需要在hadoop集群中引入资源管理和任务调度的框架。这就是——Yarn。...
Hadoop-3.1.1 Yarn 对GPU的调度和管理
weixin_41939278的博客
09-28 4350
GPU ON YARN上的配置 hadoop-3.1.1版本的yarn支持对gpu的调度和管理，主要分为两种模式： yarn自动获取gpu的资源，进行分配； 由用户指定使用哪些gpu资源； 具体的配置方法详见文档 Using GPU On YARN.md GPU ON YARN 上的执行 执行命令： yarn jar /home/nht/hadoop-3.1.1/share/hadoop/ya...
Hadoop 系列YARN：资源调度平台（YARN参数解读与调优）
liyongke89的专栏
05-28 625
. YARN：资源调度平台 YARN参数解读与调优 yarn-site.xml文件默认参数：http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 参数 默认值 说明 yarn.resourcemanager.address ${yarn...
Yarn参数优化
qq_42279718的博客
03-20 594
AM资源比例上线： ##定义队列最多同时可以运行的AM数量。 所有队列的ApplicationMaster资源比例上限可通过参数yarn.scheduler.capacity. maximum-am-resource-percent设置（可看做默认值）支持浮点数，如：10c的队列单个am<1c,2G> 则0.6表示同时最多运行6个AM ......
容量调度绝对值配置队列使用与避坑
hncscwc的博客
06-25 369
【概述】在yarn中，对于容量调度而言，需要配置不同的队列，并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的，那么，如果集群资源进行扩容，队列的资源也就相应的增加了。在某些场景下， 我们可能希望某些队列的资源是固定的，不随集群资源的扩缩容而变更，这就需要给队列资源配置一个绝对值，在hadoop3.1.0版本中，开始引入了这个功能。本文就来聊聊如何给队列配...
Ambari大数据平台搭建利器【大讲台】
01-07
Ambari是由 HortonWorks 开发的一个Hadoop相关的项目，这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。推荐进阶课程：大数据实战精英+架构师班
【Yarn】hadoop的yarn资源队列
热门推荐
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
cp ambari.repo /etc/yum.repos.d/
最新发布
05-17
这个命令的作用是将当前目录下的 ambari.repo 文件复制到 /etc/yum.repos.d/ 目录下。在 Linux 系统中，yum 是一个包管理器，它可以自动下载并安装软件包及其依赖项。yum 使用配置文件来确定从哪个源获取软件包。这里的 ambari.repo 文件就是一个 yum 的源配置文件，它指定了从哪个源获取 Ambari 软件包。通过将该文件复制到 /etc/yum.repos.d/ 目录下，就可以让 yum 识别该源并从中获取 Ambari 软件包了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值