使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

当我使用hive进行如下查询时

 select * from t_t inner join t_te on t_t.id=t_te.id;

出现如下错误:

Query ID = root_20180410193117_e9d36b57-54ce-4ad5-a48c-df876f449de1
Total jobs = 1
18/04/10 19:31:20 WARN conf.Configuration: file:/tmp/root/38c7c621-d0b0-4c5a-9349-4c1cee8b7304/hive_2018-04-10_19-31-17_704_2287968297713327096-1/-local-10006/jobconf.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.
18/04/10 19:31:20 WARN conf.Configuration: file:/tmp/root/38c7c621-d0b0-4c5a-9349-4c1cee8b7304/hive_2018-04-10_19-31-17_704_2287968297713327096-1/-local-10006/jobconf.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.
Execution log at: /tmp/root/root_20180410193117_e9d36b57-54ce-4ad5-a48c-df876f449de1.log
2018-04-10 19:31:21     Starting to launch local task to process map join;      maximum memory = 518979584
2018-04-10 19:31:22     Dump the side-table for tag: 1 with group count: 8 into file: file:/tmp/root/38c7c621-d0b0-4c5a-9349-4c1cee8b7304/hive_2018-04-10_19-31-17_704_2287968297713327096-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile31--.hashtable
2018-04-10 19:31:22     Uploaded 1 File to: file:/tmp/root/38c7c621-d0b0-4c5a-9349-4c1cee8b7304/hive_2018-04-10_19-31-17_704_2287968297713327096-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile31--.hashtable (460 bytes)
2018-04-10 19:31:22     End of local task; Time Taken: 1.616 sec.
Execution completed successfully
MapredLocal task succeeded
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1523358995758_0004, Tracking URL = http://shizhan:8088/proxy/application_1523358995758_0004/
Kill Command = /home/soft/hadoop-2.4.1/bin/hadoop job  -kill job_1523358995758_0004
Hadoop job information for Stage-3: number of mappers: 0; number of reducers: 0
2018-04-10 19:31:25,622 Stage-3 map = 0%,  reduce = 0%
Ended Job = job_1523358995758_0004 with errors
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched: 
Stage-Stage-3:  HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

解决方法是我的四台服务器时间不同步,使用date -s 16:58:20进行同步,注意我下图标黄的地方,是一下让四台服务器同步


然后再运行上面的查询语句:

select * from t_t inner join t_te on t_t.id=t_te.id;

结果如下:


则成功了

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据提供的引用内容,"return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask" 是一个Hive错误,表示在执行MapReduce任务时出现了错误,并且返回代码为2。这种错误通常与Hive查询或作业的执行有关。 要解决这个问题,可以尝试以下几个步骤: 1. 检查Hive日志:查看Hive日志以获取更多详细信息,了解错误的具体原因和上下文。日志通常位于Hive的日志目录中,可以使用以下命令找到日志目录: ```shell hive --service metastore ``` 在日志目录中查找包含错误信息的日志文件,并查看其中的错误堆栈跟踪和其他相关信息。 2. 检查Hadoop集群状态:确保Hadoop集群正常运行,并且所有必需的服务和组件都处于活动状态。可以使用以下命令检查Hadoop集群的状态: ```shell hadoop dfsadmin -report ``` 确保没有任何故障或错误告,并且所有节点都处于正常状态。 3. 检查Hive配置:检查Hive的配置文件,确保所有必需的配置项都正确设置。特别是,确保Hive的元数据存储(例如MySQL或Derby)可用,并且Hive的配置与元数据存储的配置一致。 4. 检查查询语句:如果错误发生在执行查询语句时,检查查询语句本身是否正确。确保查询语句中的表名、列名和语法都是正确的,并且与Hive表的定义相匹配。 5. 检查资源限制:如果错误发生在执行作业时,检查Hadoop集群的资源限制。确保作业所需的资源(例如内存、CPU等)可用,并且没有超过集群的限制。 这些是解决"return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"错误的一些常见步骤。根据具体情况,可能需要进一步调查和排除其他可能的问题。如果问题仍然存在,请提供更多详细信息以便进一步帮助。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值