Hive执行job时return code 2排查

Hive执行job时return code 2排查

2017年10月17日 14:50:56 娃都会打酱油了 阅读数:2570 标签: hivecode 2 更多

个人分类: JavaHive

版权声明:本文为starfd原创文章,转载请标明出处。 https://blog.csdn.net/starfd/article/details/78260400

项目测试时,在执行Insert语句时,突然报return code 2错误导致job停止,头一次碰上这种不明觉厉的问题,有问题上百度、bing,首先查到的是Hive jdbc执行insert语句时报 code=1 ,code=2 错误解决方法,看了下,目前还是在hive shell模式下执行,应该不是这问题,而且将insert部分去除,只保留select部分还是报return code 2错误,继续查问题,查到记录一次hive的运行job的问题,看下来感觉可以按这个思路去查问题,首先是hive shell执行时的异常信息

红框部分为异常时的job编号,在/tmp/用户名/目录下查看hive.XXX.log

hive.log为当日的hive执行日志,通过notepad++打开,按job编号进行搜索,可以搜索到多个记录,对比记录,可以看到如下异常

job编号后面紧跟着异常信息,是因为数据问题导致,到此就排查出了究竟是什么问题导致了return code 2

 

 

 

Hive 插入数据时遇到Return Code 2问题的解决

2016年04月15日 08:20:06 sparkexpert 阅读数:7115 标签: hivereturn code 2时间同步插入数据更多

个人分类: Hive

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sparkexpert/article/details/51158575

正常情况下,估计很难遇到这个问题。

 

但是也刚好都碰上了这样的问题。于是把解决过程记录一下。

 

Hive运行成功之后,当输入select count(*) from XX或者插入数据时,居然碰到BUG。

 

2016-04-14 12:31:56,199 Stage-1 map = 0%,  reduce = 0%

Ended Job = job_1460599682683_0005 with errors

Error during job, obtaining debugging information...

FAILED: Execution Error, return code 2 fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask

MapReduce Jobs Launched:

Stage-Stage-1:  HDFS Read: 0HDFS Write: 0 FAIL

Total MapReduce CPU Time Spent: 0 msec

 

这个问题只是HIVE单方面的问题,而用Hadoop  Job日志查看,却是YarnException: Unauthorized request to start container的问题。

 

未经授权的请求,怎么会有这样的问题呢。经过网上未解,说是各个节点的时间未同步的问题。

 

简直是晕,不知道谁刚好把某个节点时间修改了。才导致了这样的坑,居然都踩上了。于是把时间进行修改,进行系统时间同步,果然没有再次出现。

 

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值