在执行Hive作业时遇到了Reduce阶段失败的问题，表现为反复启动Reduce任务但最终失败，日志显示为Java OutOfMemoryError。通过检查JobHistory日志，确认是由于Reduce任务的OOM导致。解决方案包括：1.增大Reduce任务的内存限制和每个Reducer处理的数据量；2.增加Reduce任务的数量。最终通过设置`mapred.reduce.tasks = 2000`，`mapreduce.reduce.memory.mb=16384`和`mapreduce.reduce.java.opts=-Xmx16384m`成功解决问题。
问题： hive job失败，现象reduce失败，起了新的reduc而后还是失败，最终job失败
错误：
2017-06-07 16:43:20 INFO Examining task ID: task_*** (and more) from job job_***
2017-06-07 16:43:21 INFO FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
去jobhistory看log，发现map都成功了 reduce失败，查看日志发现是oom了
最低0.47元/天 解锁文章
9415
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
