关于遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题的解决方法

1、问题描述:
在linux的hive中,测试语句"select count(1)from student;"时, 报错:“FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”;
后来发现只要是用到聚合函数都不能运行。

2、解决过程:
上网找了许多资料,有说是因为Namenode进入安全模式了,需要退出安全模式;有说是nodemanager的内存不够;也有说是因为Hadoop里的mapred-site.xml文件里的参数mapreduce.reduce.memory.mb值过大,很多很多,不过都不能解决我的问题。后来看到一个博客说遇到错误就看日志(其实我有看日志,但是后来证明我找错日志了),在http://IP:8042/logs(IP填自己的节点ip地址)中找到了我需要的日志,对照时间,找到了错误的原因
在这里插入图片描述
ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl: Unauthorized request to start container.

原来错误原因是我的NameNode和DataNode时间不一样!!

3、方法:
知道了原因,这个问题就很容易解决了——同步时间:

  1. 安装ntpdate工具

yum -y install ntp ntpdate

  1. 设置系统时间与网络时间同步

ntpdate cn.pool.ntp.org

  1. 将系统时间写入硬件时间

hwclock --systohc

通过“send chat to all sessions”发送date指令可以看到各个节点的时间一致了。
时间同步后重启NameNode和DataNode,发现聚合函数能用啦!

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值