hbase作为mapreduce输入时speculative推断机制配置如何关闭

mapreduce.map.speculative、mapreduce.reduce.speculative默认是开启的,即为true

例如wordCount程序

hadoop jar wordCount.jar hdfs:///test/inputhdfs:///test/output

可以在hadoop 任务8088页面点击具体的job,查看job configuration,看到mapreduce.map.speculative为true,来源自mapred-default.xml

关闭map的speculative方法:

1.      在上面运行hadoop命令的机器上,修改hadoop配置文件,例如mapred-site.xml,增加mapreduce.map.speculative的property,设置为false。

这时观察8088页面上job configuration,可以看到mapreduce.map.speculative为false,来源mapred-site.xml。

2.      在wordCount程序代码中,conf.setBoolen(“mapreduce.map.speculative”,false);

这时观察8088页面上job configuration,可以看到mapreduce.map.speculative为false,来源自programatically,即通过程序设置。

 

但上面的第2步骤对于hbase通过TableMapReduceUtil类实现的mapreduce,不起效果,原因估计是TableMapReduceUtil实现里会重新读取配置文件而导致覆盖程序中动态设置的配置项(如有错误,欢迎指正),故对hbase的mapreduce,要关闭speculative机制,只能修改hadoop命令所关联的配置文件。

  • 0
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论

打赏作者

上岸の鱼

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值