hadoop默认调度策略_如何更改hadoop的调度策略?

本文介绍了如何在Hadoop 2 / YARN环境中更改默认的调度策略。默认使用Capacity Scheduler,若想切换到如Fair Scheduler,需在yarn-site.xml配置文件中指定调度器类。每个调度器都有特定的配置选项,可以通过查阅手册进行设置和优化。
摘要由CSDN通过智能技术生成

hadoop默认调度策略

I want to change policy of scheduling in Hadoop, how to I can change job order in map reduce automatically.

我想更改Hadoop中的调度策略,如何自动更改map中的作业顺序。

Assume you are using Hadoop 2 / YARN.

假设您正在使用Hadoop 2 / YARN。

The configuration parameter named yarn.resourcemanager.scheduler.class controls the class to be used as the resource scheduler for YARN/Hadoop.

名为yarn.resourcemanager.scheduler.class的配置参数控制用作YARN / Hadoop的资源调度程序的类。

The default value for the scheduler class (check more at https://www.systutorials.com/241248/hadoop-2-yarn-default-configuration-values/) is:

调度程序类的默认值(有关更多信息, 请参见https://www.systutorials.com/241248/hadoop-2-yarn-default-configuration-values/ ):

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

which is the Capacity Scheduler.

这是容量调度程序。

To change the scheduler used, you need to assign the scheduler class in yarn-site.xml in the etc/hadoop/ directory under Hadoop installation. Taking the fair scheduler shipped with Hadoop as an example, we can add to yarn-site.xml:

要更改使用的调度程序,您需要在Hadoop安装目录下etc / hadoop /目录的yarn-site.xml中分配调度程序类。 以Hadoop随附的公平调度程序为例,我们可以添加到yarn-site.xml中:

<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

Each scheduler may have its own options for configurations, such as capacity scheduler and fair scheduler. You may check their manuals to configure and tune them.

每个调度程序可能都有自己的配置选项,例如容量调度程序公平调度程序 。 您可以查看他们的手册以进行配置和调整。

Answered by Eric Z Ma.
埃里克·马(Eric Z Ma)回答。

翻译自: https://www.systutorials.com/how-change-my-policy-of-scheduling-in-hadoop/

hadoop默认调度策略

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值