启动了hadoop后,启动了hive,
进入hive-cli,执行 select count(1) from table,屏幕显示到kill command后不继续执行,查询一直卡在这里
经过问题排查,解决思路如下:
- select * from table 没有问题,但一旦执行select count(1) from table 后就不继续执行,原因是
select * from table 是直接在hive数据库中直接执行的,select count(1) from table 是调用了mapreduce来执行。 - 那么调用了mapreduce 之后为什么就停留在那里了呢,直接执行了官网的mapreduce的wordcount后发现相同的情况。
- 经过上述排查,那么肯定是hadoop配置不对了,由于mapreduce的都是在datanode上执行的,所以初步认定为namenode
和datanode之间没有联通。 - 于是检查 namenode的hosts文件和slaves文件,将文件中的配置修改为对应的主机名和IP,重启节点hadoop。
- 重新运行hive select count(1) from table 后,成功。
故,由此得出结论,当mapduce运行不下去的情况,则主要检查namenode和datanode之间的通信情况,包括但不限于以下几种:
- hosts配置问题,没有把datanode的主机名写入namenode主机的hosts文件中。
- slave配置问题, 没有把datanode的主机名写入namenode主机的slaves文件中。(注意,3.0以上版本的是workers文件,3.0以下的版本才是slaves文件)
- ssh无密码访问没有配置(namdenode和datanode主机之间需要可以通过ssh无密码直接访问)。
原文在此hive无法执行sql