大数据问题排查系列 - TDH大数据平台中HIVE作业长时间无法执行结束

前言

大家好，我是明哥！

本片博文是“大数据问题排查系列”之一，讲述某星环 TDH 大数据平台中，研发同学提交的 Hive 作业在成功提交后，客户端长时间收不到任何结果信息也收不到任何报错信息问题的排查。

以下是正文。

问题现象

研发同学反馈，提交的很多 Hive 作业在成功提交后，客户端长时间收不到任何结果信息也收不到任何报错信息，如下图所示，有的作业在提交 1.7h 后都没有执行结束，客户端没有收到任何结果信息，也没有收到任何报错信息。

问题截图

问题初步分析

熟悉 CDH/HDP 大数据平台 或 apache 原生版 hive 的同学，有的可能遇到过上述 hive 作业长时间都没有执行结束且没有任何报错信息的情况，这通常是因为作业提交到的 yarn 队列没有足够的资源，hive 作业无法申请到足够的 yarn container 从而长时间无法执行结束。只要确保整个 yarn 集群和作业对应的 yarn 队列资源足够，且作业提交到了正确的 yarn 队列中，一般都可以修复问题。（当然，作业申请到了资源后，执行结果是成功还是失败是另外一回事）。

但是在 TDH 中，以上论断是不成立的。事实上，在 TDH 中，hive 作业跟本就不是运行在 YARN上的，跟本就不消耗任何 YARN 资源！

背景知识 - TDH 中，hive 作业的运