yarn降版本_Yarn配置

本文详细介绍了YARN的资源配置,包括ResourceManager的地址、调度器设置、NodeManager的心跳间隔、内存和CPU资源管理、日志管理和队列配置。重点讨论了内存超量使用时的任务管理策略以及CPU资源的调度配置。
摘要由CSDN通过智能技术生成

参数名

参数值

描述

在在平台情况、在哪个文件

hdp

apache

yarn.resourcemanager.am.max-attempts

2

http地址

yarn.resourcemanager.address

${yarn.resourcemanager.hostname}:8032

ResourceManager对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等

yarn.resourcemanager.scheduler.address

${yarn.resourcemanager.hostname}:8030

ResourceManager 对 ApplicationMaster 暴露的访问地址。ApplicationMaster 通过该地址向 RM 申请资源、释放资源等

yarn.resourcemanager.resource-tracker.address

${yarn.resourcemanager.hostname}:8031

ResourceManager 对 NodeManager 暴露的地址.。NodeManager 通过该地址向 RM 汇报心跳,领取任务等

yarn.resourcemanager.admin.address

${yarn.resourcemanager.hostname}:8033

ResourceManager 对管理员暴露的访问地址。管理员通过该地址向 RM 发送管理命令等。

yarn.resourcemanager.webapp.address

${yarn.resourcemanager.hostname}:8088

ResourceManager 对外 web ui 地址。用户可通过该地址在浏览器中查看集群各类信息

yarn.log.server.url

http://hostname:19888/jobhistory/logs

log server的地址

心跳

yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

1000(毫秒)

NodeManager 心跳间隔

调度器

yarn.resourcemanager.scheduler.class

-- 容量调度器

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

-- 公平调度器

org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

启用的资源调度器主类。目前可用的有 FIFO、Capacity Scheduler 和 Fair Scheduler。

yarn.resourcemanager.resource-tracker.client.thread-count

5

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值