0653-5.16.1-Hive Staging目录占用大量HDFS空间问题分析

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 问题现象

测试环境

1.Redhat7.4

2.CDH5.16.1

在HDFS上有许多Hive Staging目录，占用了大量的空间，有些目录占用的空间甚至比原始表还大，如下截图显示：

2 异常重现及分析

1.使用beeline、hive、spark-shell等多种方式执行Hive SQL语句验证产生的hive staging目录是否不会被清除，结果发现在SQL执行结束后产生的staging文件均会自动被移除。

2.使用Hue上的Hive Editor来进行验证，发现执行的SQL产生的staging目录在SQL执行完成后并不会被清除，在Hue上执行一个Hive的Insert语句

使用hadoop命令看到在相应表下生成的hive-staging_hive_xxx的临时目录一直存在并未因为SQL执行完成而清除掉。