Hive select count(*)计数语句报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exe

最新推荐文章于 2023-12-10 19:46:23 发布

留顺意

最新推荐文章于 2023-12-10 19:46:23 发布

阅读量3.2k

点赞数 3

文章标签： hadoop hive

本文链接：https://blog.csdn.net/weixin_43828710/article/details/119711495

版权

环境及报错现象

使用的hadoop是高可用集群。
自己写的MapReduce程序可以成功，但在Hive上执行select count(*)报错
在这里插入图片描述

解决办法

原因：HA机制下yarn-site.xml配置不完整。
解决办法：在yarn-site.xml中添加如下配置，重启hadoop。

	<property>
		<name>yarn.resourcemanager.webapp.address.rem1</name>
		<value>hadoop001:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rem2</name>
		<value>hadoop003:8088</value>
	</property>
#rem1,rem1为resourcemanager节点名

原因定位

hive命令窗口并没有抛出具体错误原因。需要去hadoop上查看详细报错原因。
1、进入hadoop集群web端管理页面，可以查看到刚开始执行的Mapreduce任务
在这里插入图片描述
2、点击任务，可以查看到任务详情。发现可能是org.apache.hadoop.mapreduce.v2.app.MRAppMaster没有加载成功，但还是不清楚为什么没有加载成功MRAppMaster。没有截图，找不到了。
3、直接去hadoop服务器查看报错日志。发现确实是加载MRAppMaster报错。
org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPointerException
在这里插入图片描述
4、拿具体报错日志百度一下。终于找到原因：高可用hadoop集群，在MRClientService的WebApp创建过程出错，导致WebApp对象为null，后边调用了WebApp的getHttpPort()方法，导致空指针。需要配置yarn-site.xml文件。