MAPR提供快速通道(称为ExpressLane),在与一起工作的公平调度。ExpressLane是小型的MapReduce作业时,所有插槽都被长期占用的任务运行。小的工作只给这个特殊的处理,当集群忙,只有在满足了以下参数中指定的标准mapred-site.xml中
:
参数 |
值 |
描述 |
---|---|---|
mapred.fairscheduler.smalljob.schedule.enable | 真 | 启用公平调度器里面的小任务快速调度。的TaskTracker应预留一个叫做它用于smalljob如果集群忙短暂插槽插槽。 |
mapred.fairscheduler.smalljob.max.reducer.inputsize | 1073741824 | 小作业定义。估计最大输入尺寸小作业可以减速。默认为每减速1GB。 |
mapred.fairscheduler.smalljob.max.inputsize | 10737418240 | 小作业定义。允许在一个小职位字节最大输入尺寸。默认为10GB。 |
mapred.fairscheduler.smalljob.max.reducers | 10 | 小作业定义。在小作业可以减速器的最大数目。 |
mapred.fairscheduler.smalljob.max.maps | 10 | 小作业定义。在小作业可以映射最大数。 |
mapred.cluster.ephemeral.tasks.memory.limit.mb | 200 | 小作业定义。最大内存中保留一个ephermal插槽兆字节。默认值是200MB。这个值必须在JobTracker的和TaskTracker必须节点是相同的。 |
出现以适应小的工作定义,但实际上比预期的更大的MapReduce作业被杀死和重新排队等待正常执行。