Mapr与Mapreduce的工作(三)——配置Mapreduce

您可以使用作业调度优先考虑您的MAPR集群上运行MapReduce作业。

MapReduce的系统支持最少一个队列,命名为默认值。因此,这个参数的值应始终包含字符串默认值。有些作业调度程序,如容量计划,支持多个队列。

默认的工作计划是基于队列,并使用FIFO(先入先出)顺序。在生产环境中有多个用户或争夺群集资源组,可以考虑使用在MAPR提供多用户调度程序中的一个:公平调度器或容量调度。

MAPR Hadoop的支持下作业调度程序:

  • FIFO队列为基础的调度:这是默认的调度器。该FIFO队列调度基于运行在其中的工作提出的先后次序上的作业。你可以通过改变价值优先工作mapred.job.priority属性或通过调用setJobPriority()方法。
  • 公平调度器:公平调度器分配的集群能力共享给每个用户随着时间的推移。公平调度的设计目标是将资源分配到作业,使每个岗位收到的资源在时间相等的份额。公平调度器强制要求每个池中的公平共享。正在运行的作业共享池的资源。
  • 容量调度:容量调度程序,用户或组织模拟与FIFO调度为每个用户或组织单独的MapReduce集群。您可以使用定义组织的队列

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值