当Hive的/tmp/hive目录占用过大时，可能因任务未完成导致临时文件遗留。可以手动删除旧文件或设置Hive启动时自动清理。在Hive配置中增加`hive.start.cleanup.scratchdir`为`true`，然后重启Hive服务，注意这可能导致启动时间延长。确保检查文件时间戳，确认没有正在运行的任务再进行清理。
HDFS上tmp/hive空间资源占用过大的原因，有啥清理机制呢
Hive的临时目录是用来存放不同阶段的map/reduce任务的执行计划和中间结果的，如果Hive任务成功完成的话，临时文件会被自动清理，如果Hive任务被取消或者中断，那么这个任务的临时文件就会被遗留下来。
可以手动删除这些旧文件，但不要删除任务还未完成的临时文件。也可以通过 cron job来定期删除无效的临时文件。
另外，也可以通过配置hive.start.cleanup.scratchdir在每次启动Hive时自动清理，要注意如果配置了这个参数，重启Hive时会花比较长的时间清理临时文件。
在Cloudera manager -> Hive Service -> Configuration -> HiveServer2 Advanced Configuration Snippet (Safety Valve) for hive-site.xml; 中增加如下配置，并重启。
<property>
<name>hive.start.cleanup.scratchdir</name>
<value>true</value>
</property>
[hdfs@dsj-419-4t-02 ~]$ hadoop fs -du -h -s hdfs://beh/tmp/hive/lf_ia_serv/84badee0-2f5e-4601-a461-8acff632b85c
860.7 T 2.5 P hdfs://beh/tmp/hive/lf_ia_serv/84badee0-2f5e-4601-a461-8acff632b85c
[hdfs@dsj-419-4t-02 ~]$ hadoop fs -ls hdfs://beh/tmp/hive/lf_ia_serv
最低0.47元/天 解锁文章
扫一扫
6159
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
