hive运行mapreduce任务出现报错Error during job, obtaining debugging information...

问题描述：

hive建表之后进行insert数据插入操作时，出现以下报错：

Error during job, obtaining debugging information...

解决步骤：

实际上导致执行hive出现该报错信息的原因非常多，通过网上搜索相关报错信息发现很多人说是namenode或者hive等进程的jvm内存不足，结果实际测试发现调大内存也不行；

并且此时我执行wordcount测试用例又能成功运行；据此也基本可以排除jvm内存不足的问题；

网上不少人提议采用本地模式执行任务：

set hive.exec.mode.local.auto=true;

发现执行成功；但只是临时之策。问题并没有真正解决；

 

于是到yarn页面去查看任务的日志，发现报错信息:

2020-10-23 15:22:50,636 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Executing with tokens:

2020-10-23 15:22:50,851 FATAL [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

根据报错信息查看相关资料，有人建议查看hive的jar包路径配置是否正确：

hive (default)> set hive.aux.jars.path;

结果返回：

发现返回路径正确，但是出现了多余的jar包!!!

##删掉多余的jar包

rm -rf /opt/beh/core/hive/auxlib/hudi-hadoop-mr-bundle-0.6.0.jar

##重启hive进程:

kill -9 `ps -ef| grep hive | grep HiveMetaStore | awk '{print $2}'` && nohup hive --service metastore &

kill -9 `ps -ef| grep hive | grep HiveServer2 | awk '{print $2}'` && nohup hive --service hiveserver2 &

##再次进入hive执行mapreduce任务一切正常；

 

 

总结：

auxlib   是  hive自定义函数扩展;与lib目录同级，把自己开发的扩展jar放到该目录下；

一定不要混入hive自带的lib包；