yarn
文章平均质量分 71
houzhizhen
专注大数据处理和分布式计算。
展开
-
Fair 调度器用 primaryGroup 不能自动把任务调度到二级队列
如 fair-scheduler.xml 配置如下,root 下有 aa 和 bb 队列,bb 队列有 bbsub1 和 bbsub2 两个字队列。<?xml version="1.0"?><allocations> <queue name="aa"> <weight>2</weight> <schedulingPolicy>fair</schedulingPolicy> <原创 2021-11-19 10:24:09 · 486 阅读 · 0 评论 -
查看 application 某一个 container 的日志
yarn logs 参数如下:Retrieve logs for completed YARN applications.usage: yarn logs -applicationId <application ID> [OPTIONS]general options are: -am <AM Containers> Prints the AM Container logs for this原创 2021-11-12 09:10:53 · 1663 阅读 · 0 评论 -
Fair 调度器简单配置指南
当 YARN 调度器配置为 Fair 时,可以配置一个 fair-scheduler.xml。在此文件里,设置各个队列的资源和规则。fair-scheduler.xml 的配置如下:<?xml version="1.0"?><allocations> <queue name="default"> <weight>1</weight> <schedulingPolicy>fair</schedulingPo原创 2021-11-05 15:13:45 · 577 阅读 · 0 评论 -
Hadoop 3.1.4 Capacity Scheduler 的 Ordering Policy
Capacity Scheduler 的 Ordering Policy 用于决定资源分给谁的问题。 Ordering Policy 可以设置在队列间,也可以设置作用在队列内的作业,它们是不同的参数。队列间排序规则的配置以下配置设置队列 q1 的排序规则,用于对该队列的子队列进行排序。可选值有 “utilization” 和 “priority-utilization”,默认是 “utilization” 。“utilization” 仅考虑资源的使用情况,不考虑优先级。“priority-uti原创 2021-09-16 19:54:38 · 819 阅读 · 0 评论 -
ResourceManager 对资源的计算过程
ResourceTrackerService 定义了资源的交互service ResourceTrackerService { rpc registerNodeManager(RegisterNodeManagerRequestProto) returns (RegisterNodeManagerResponseProto); rpc nodeHeartbeat(NodeHeartbeatRequestProto) returns (NodeHeartbeatResponseProto); r原创 2021-09-15 11:30:43 · 179 阅读 · 0 评论 -
Hadoop 3.1.4 CapacityScheduler ACL 测试
<property> <name>yarn.acl.enable</name> <value>true</value> </property><property> <name>yarn.scheduler.capacity.root.queues</name> <value>a,b</value> .原创 2021-09-09 14:43:45 · 209 阅读 · 0 评论 -
Hadoop 3.1 Capacity Scheduler Node Label 测试
<!-- root.a --> <property> <name>yarn.scheduler.capacity.root.a.queues</name> <value>aa, ab</value> <description> The queues at the this level (root is the root queue). </description>原创 2021-09-03 17:27:11 · 315 阅读 · 0 评论 -
YARN Service 示例
Start ZookeeperEnable Hadoop Registry (Enabled by Default)# Enable api-servicevim yarn-site.xml<property> <description>Enable services rest api on Resourcemanager.</description> <name> yarn.webapp.api-service.原创 2021-08-24 10:36:26 · 304 阅读 · 0 评论