1、问题描述:
在linux的hive中,测试语句"select count(1)from student;"时, 报错:“FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”;
后来发现只要是用到聚合函数都不能运行。
2、解决过程:
上网找了许多资料,有说是因为Namenode进入安全模式了,需要退出安全模式;有说是nodemanager的内存不够;也有说是因为Hadoop里的mapred-site.xml文件里的参数mapreduce.reduce.memory.mb值过大,很多很多,不过都不能解决我的问题。后来看到一个博客说遇到错误就看日志(其实我有看日志,但是后来证明我找错日志了),在http://IP:8042/logs(IP填自己的节点ip地址)中找到了我需要的日志,对照时间,找到了错误的原因
ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl: Unauthorized request to start container.
原来错误原因是我的NameNode和DataNode时间不一样!!
3、方法:
知道了原因,这个问题就很容易解决了——同步时间:
- 安装ntpdate工具
yum -y install ntp ntpdate
- 设置系统时间与网络时间同步
ntpdate cn.pool.ntp.org
- 将系统时间写入硬件时间
hwclock --systohc
通过“send chat to all sessions”发送date指令可以看到各个节点的时间一致了。
时间同步后重启NameNode和DataNode,发现聚合函数能用啦!