问题1:Hive集成Tez引擎跑任务出现异常:TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space
看yarn 的job平台是success的,所以想到Tez的内存设置问题,因为Tez引擎是纯内存操作,所以对内存大小肯定有要求。
所以查看下tez的设置情况:
查看了
SET hive.tez.container.size;容器大小:如果8G,去除预留和其他组件给4G,4*1024
SET hive.tez.java.opts;(java内存设置 -Xmx1048m)值一般是80% * 容器大小
SET hive.am.resource.memory.mb;
SET hive.am.java.opts;
以下是调优参数这是: