写在前面:
目前生产上有一个场景就是有一张HIVE的分区表,每5分钟就会有一个任务往 当天的分区里面写数据,但是本身也只需要当天最新的数据,这样下来,小文件就会巨巨巨多,所以不得避免就需要删除之前的文件了,这样也能提升查询速度。
方案:用Python执行Bash HDFS命令
代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
import warnings
warnings.filterwarnings("ignore")
def RmHdfsFile():
print(f'[START DELETE]')
try:
cmd ="""hdfs dfs -count /data/student/ts_date=$(date "+%Y%m%d") | awk -F" " '{print $2}'"""
print(cmd)
return_count = os.popen(cmd).read()
print("文件数:" + str(return_count))
return_count = int(return_count)
if return_count <= 9:
# 不跑删除语句
pass
else:
cmd2 ="""hdfs dfs -rm -r `hdfs dfs -ls -h -t /data/student/ts_date=$(date "+%Y%m%d") | tail -n +10 | awk -F" " '{print $9}'` """
print(cmd2)
return_ = os.popen(cmd2).read()
print(return_)
except Exception:
print(Exception)
print(f'[END DELETE]')
if __name__ == '__main__':
RmHdfsFile()