Hadoop Capacity Scheduler配置与使用

本文介绍了Hadoop Capacity Scheduler的特性,包括计算能力保证、灵活性、优先级支持、多重租赁和资源调度。详细阐述了如何配置Scheduler,涉及mapred-site.xml和capacity-scheduler.xml文件的修改,以及队列容量和用户限制的设定。最后,讨论了在实际环境中如何刷新配置以及Capacity Scheduler在mapreduce和hive任务中的应用。
摘要由CSDN通过智能技术生成

 

Capacity Scheduler简介

Capacity Scheduler支持以下特性:

(1) 计算能力保证。支持多个队列,某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源,且所有提交到队列中的作业共享该队列中的资源。

(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列,当某个未达到资源的队列需要资源时,一旦出现空闲资源资源,便会分配给他们。

(3) 支持优先级。队列支持作业优先级调度(默认是FIFO)

(4) 多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源。

(5) 基于资源的调度。 支持资源密集型作业,允许作业使用的资源量高于默认值,进而可容纳不同资源需求的作业。不过,当前仅支持内存资源的调度。

Capacity Scheduler配置方法

注:下文中xml配置文件都在hadoop安装目录下的conf文件夹内。

修改mapred-site.xml文件:

首先,在mapred-site.xml现有内容后增加如下内容,将调度器设置为Capacity Scheduler:

<property>
    <name>mapred.jobtracker.taskScheduler</name>
    <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value>
</property>

然后,设置任务队列的名称:

<property>
    <name>mapred.queue.names</n
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值