参数名
参数值
描述
在在平台情况、在哪个文件
hdp
apache
yarn.resourcemanager.am.max-attempts
2
http地址
yarn.resourcemanager.address
${yarn.resourcemanager.hostname}:8032
ResourceManager对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等
yarn.resourcemanager.scheduler.address
${yarn.resourcemanager.hostname}:8030
ResourceManager 对 ApplicationMaster 暴露的访问地址。ApplicationMaster 通过该地址向 RM 申请资源、释放资源等
yarn.resourcemanager.resource-tracker.address
${yarn.resourcemanager.hostname}:8031
ResourceManager 对 NodeManager 暴露的地址.。NodeManager 通过该地址向 RM 汇报心跳,领取任务等
yarn.resourcemanager.admin.address
${yarn.resourcemanager.hostname}:8033
ResourceManager 对管理员暴露的访问地址。管理员通过该地址向 RM 发送管理命令等。
yarn.resourcemanager.webapp.address
${yarn.resourcemanager.hostname}:8088
ResourceManager 对外 web ui 地址。用户可通过该地址在浏览器中查看集群各类信息
yarn.log.server.url
http://hostname:19888/jobhistory/logs
log server的地址
心跳
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms
1000(毫秒)
NodeManager 心跳间隔
调度器
yarn.resourcemanager.scheduler.class
-- 容量调度器
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
-- 公平调度器
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
启用的资源调度器主类。目前可用的有 FIFO、Capacity Scheduler 和 Fair Scheduler。
yarn.resourcemanager.resource-tracker.client.thread-count
5

本文详细介绍了YARN的资源配置,包括ResourceManager的地址、调度器设置、NodeManager的心跳间隔、内存和CPU资源管理、日志管理和队列配置。重点讨论了内存超量使用时的任务管理策略以及CPU资源的调度配置。
最低0.47元/天 解锁文章
401

被折叠的 条评论
为什么被折叠?



