hive sql卡住,mapreduce不执行
在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。
而我们使用不涉及mapreduce的sql,却能够正常的查询到数据。
解题思路
首先我查看相关日志,日志中也没有出现error。然后我区分是mapreduce的问题还是sql的问题,进入hadoop/share/hadoop/mapreduce/ 目录下,执行自带的mapreduce计算π值,发现依旧是卡死在提交job的地方。这里可以确定是集群出现问题。
我查看是否是因为我的集群没有正常的启动,使用 jps 命令查看各个节点的服务信息,发现相关服务正常启动。然后查看hadoop是否处在安全模式 hadoop/bin/hdfs dfsadmin -safemode get 命令。发现并没有。
然后我查看是否是因为之前提交的job没有正常的结束,过多的job导致我无法提交新的job,使用 hadoop job -list 和 yarn application -li