hive中执行select count(1) from table 一直无反应的问题

启动了hadoop后,启动了hive,

进入hive-cli,执行 select count(1) from table,屏幕显示到kill command后不继续执行,查询一直卡在这里
在这里插入图片描述

经过问题排查,解决思路如下:

  1. select * from table 没有问题,但一旦执行select count(1) from table 后就不继续执行,原因是
    select * from table 是直接在hive数据库中直接执行的,select count(1) from table 是调用了mapreduce来执行。
  2. 那么调用了mapreduce 之后为什么就停留在那里了呢,直接执行了官网的mapreduce的wordcount后发现相同的情况。
  3. 经过上述排查,那么肯定是hadoop配置不对了,由于mapreduce的都是在datanode上执行的,所以初步认定为namenode
    和datanode之间没有联通。
  4. 于是检查 namenode的hosts文件和slaves文件,将文件中的配置修改为对应的主机名和IP,重启节点hadoop。
  5. 重新运行hive select count(1) from table 后,成功。

故,由此得出结论,当mapduce运行不下去的情况,则主要检查namenode和datanode之间的通信情况,包括但不限于以下几种:

  1. hosts配置问题,没有把datanode的主机名写入namenode主机的hosts文件中。
  2. slave配置问题, 没有把datanode的主机名写入namenode主机的slaves文件中。(注意,3.0以上版本的是workers文件,3.0以下的版本才是slaves文件)
  3. ssh无密码访问没有配置(namdenode和datanode主机之间需要可以通过ssh无密码直接访问)。
    原文在此hive无法执行sql
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值