一、概述
hplsql有两种计算引擎,一种是hive on mr,另外一种是hive on spark;在设置map和reduce参数时,由于设置参数问题导致一个 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTast错误,同样的SQL在spark引擎上没有出现。
二、错误分析和解决
通过查看执行日志发现这么一条error记录。
经过排查发现,mapreduce.map.memory.mb设置的值为5120M,超过了 yarn.scheduler.maximum-allocation-mb的3G最大内存。将mapreduce.map.memory.mb设置为2048M,
程序正常执行。