Hive表维护

需求描述：项目上 Hive 库 import_db 是个公共库，多个项目组在使用，时间久了，库里有2万多张表，占了1000多T空间，有的表好久就不使用了，想着清理一下

个人总结的维护方法

1、跟项目组确认哪些表可以删除

按数据文件修改时间导出目录明细

hdfs dfs -ls -h -t /user/hive/warehouse/import_db.db |awk '{print $6,$7,$8}' |sed 's#/user/hive/warehouse/import_db.db/##' import_db_modify_time_desc_$(date '+%Y%m%d_%H%M%S').txt

把导出的 import_db_modify_time_desc_$(date '+%Y%m%d_%H%M%S').txt 发给项目组确认，哪些表可以删除

2、删除没有表结构的数据文件

把 /user/hive/warehouse/import_db.db/ 下的表数据文件目录明细，按升序导出到txt文件，只保留目录列

hdfs dfs -ls -h /user/hive/warehouse/import_db.db |awk '{print $8}' |sed 's#/user/hive/warehouse/import_db.db/##' import_db_tables_list_asc_$(date '+%Y%m%d_%H%M%S').txt

导出库里所有表

beeline --outputformat=csv2 -e 'show tables in import_db' >import_db_list.out

把导出的2个文件的数据，复制到Excel，使用=VLOOKUP() 对比两列，找出只有数据文件没有表的目录，对此目录进行删除。(这种一般是Hive外表，表删了数据文件还在hdfs上)

hdfs dfs -rm -f -r -skipTrash /user/hive/warehouse/import_db.db/xxxxx