Mapr与Mapreduce配合工作(七)——MAPR提供快速通道(称为ExpressLane)

MAPR提供快速通道(称为ExpressLane),在与一起工作的公平调度。ExpressLane是小型的MapReduce作业时,所有插槽都被长期占用的任务运行。小的工作只给这个特殊的处理,当集群忙,只有在满足了以下参数中指定的标准mapred-site.xml中

参数

描述

mapred.fairscheduler.smalljob.schedule.enable

启用公平调度器里面的小任务快速调度。的TaskTracker应预留一个叫做它用于smalljob如果集群忙短暂插槽插槽。

mapred.fairscheduler.smalljob.max.reducer.inputsize

1073741824

小作业定义。估计最大输入尺寸小作业可以减速。默认为每减速1GB。

mapred.fairscheduler.smalljob.max.inputsize

10737418240

小作业定义。允许在一个小职位字节最大输入尺寸。默认为10GB。

mapred.fairscheduler.smalljob.max.reducers

10

小作业定义。在小作业可以减速器的最大数目。

mapred.fairscheduler.smalljob.max.maps

10

小作业定义。在小作业可以映射最大数。

mapred.cluster.ephemeral.tasks.memory.limit.mb

200

小作业定义。最大内存中保留一个ephermal插槽兆字节。默认值是200MB。这个值必须在JobTracker的和TaskTracker必须节点是相同的。

出现以适应小的工作定义,但实际上比预期的更大的MapReduce作业被杀死和重新排队等待正常执行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值