hive生产实践问题(一)在使用Hive Client跑job时,一直提示job被kill,

然后观察YARN的WebUI进行查看,如图:
在这里插入图片描述
然后观察Hive Client的控制台输出,如下:
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_1552895066408_0001, Tracking URL = http://localhost:8088/proxy/application_1552895066408_0001/
Kill Command = /wangqingguo/bigdata/hadoop-2.6.0-cdh5.7.0/bin/hadoop job -kill job_1552895066408_0001
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2019-03-18 15:44:40,758 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1552895066408_0001 with errors
Error during job, obtaining debugging information…
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
二.解决思路:

通过YARN的WebUI看到,发现YARN没有Core和Memory,按照常理讲,

如果不配置Core和Memeory,yarn-site.xml文件会有默认的值。

为了保险起见,我添加以下参数:

yarn.nodemanager.resource.cpu-vcores 8 yarn.nodemanager.resource.memory-mb 8192 yarn.scheduler.minimum-allocation-mb 1024 yarn.scheduler.maximum-allocation-mb 8192 重启HDFS的进程后,重新提交job,发现还是报这个错,然后通过仔细观察WebUI的log发现一句话: Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory 终于找到错误的所在,原来是找不到Java。

最后我在etc/hadoop/hadoop.env.sh中配置了java_home,问题解决。

哈哈哈,这都是若泽在高级班教我的排查方法。

有时候问题答案真心不重要,排查思路很重要!

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xuxu1116

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值