MR推测执行

mapred.map.tasks.speculative.execution boolean true 如果任务运行变慢,该属性决定了是否要启动一个map任务的另外一个实力

mapred.reduce.tasks.speculative.execution boolean true 如果任务运行变慢,该属性决定这是否需要启动一个reduce任务

yarn.app.mapreduce.am.job.speculator.class class org.apache.hadoop.mapreduce.v2.app.speculate.default.speculator speculator类实现推测执行策略

yarn.app.mapreduce.am.job.estimator.class class org.apache.hadoop.mapreduce.v2.app.speculate.LegacyTaskRuntimeEstimator speculator实力使用TaskRuntime Estimator的实现,提供任务运行时间的估计值(只针对MR)


为什么会想到关闭推测执行呢?

推测执行的目的是减少作业执行时间,但这是以集群效率为代价的, 在一个繁忙的集群中, 推测执行会减少整体的吞吐量,因为冗余的任务执行时会减少作业的执行时间,因此一些集群管理员倾向于在集群上关闭这个选项, 而让用户根据个别的作业需要而开启该功能, hadoop的老版本更加如此


对于reduce任务,关闭推测执行是有益的, 因为任意重复的reduce任务都是必须要去的map输出作为最先的任务, 这坑农会大幅度的增加集群上的网络传输。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值