hive起mapreduce出错后的排查工作

首先排查hadoop日志

http://ipadress:50070/logs/

• 如果namenode或secondary namenode 日志一样，一般需要重新格式化namenode
  1. 删除/tmp/data，name中的所有内容
     name/edit_log fsimage
     data/数据文件
  2. 进入sbin/hdfs namenode -format
  3. 授权：hdfs dfs -chmod R 777 /
  4. 重新启动服务

再排查hive日志

/tmp/root/hive.log

• 一般hadoop配置文件出错
  比如：通常mapreduce异常：yarn-site.xml配置有误

错误实例

在hive中运行代码时报错
Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

经过排查后，hadooplog文件并没有报错
检查hive.log文件发现以下错误
Container launch failed for container_1605237269855_0001_01_000005 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

根据报错信息，检查配置文件后发现yarn-site.xml配置信息错误
修改后重启服务
运行查询代码
成功