Hive集成Tez引擎跑任务出现的问题

在运行Hive任务时集成Tez引擎遇到了TaskAttempt失败,错误信息显示为`java.lang.OutOfMemoryError: Java heap space`。问题根源在于Tez的内存配置不当,由于Tez是内存密集型,对内存要求较高。解决方案是检查并调整Tez的内存设置,确保不超过YARN的任务最大内存限制。经过参数调优后,问题得以解决。
摘要由CSDN通过智能技术生成

问题1:Hive集成Tez引擎跑任务出现异常:TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space

看yarn 的job平台是success的,所以想到Tez的内存设置问题,因为Tez引擎是纯内存操作,所以对内存大小肯定有要求。

所以查看下tez的设置情况:

20200821110452616.png

查看了

SET hive.tez.container.size;容器大小:如果8G,去除预留和其他组件给4G,4*1024

SET hive.tez.java.opts;(java内存设置 -Xmx1048m)值一般是80% * 容器大小

SET hive.am.resource.memory.mb;

SET hive.am.java.opts;

以下是调优参数这是:

 

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值