sql express后台运行占用_06535.16.1Hive Staging目录占用大量HDFS空间问题分析

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1

问题现象

• 测试环境

1.Redhat7.4

2.CDH5.16.1

在HDFS上有许多Hive Staging目录，占用了大量的空间，有些目录占用的空间甚至比原始表还大，如下截图显示：

2

异常重现及分析

1.使用beeline、hive、spark-shell等多种方式执行Hive SQL语句验证产生的hive staging目录是否不会被清除，结果发现在SQL执行结束后产生的staging文件均会自动被移除。

2.使用Hue上的Hive Editor来进行验证，发现执行的SQL产生的staging目录在SQL执行完成后并不会被清除，在Hue上执行一个