快速清理hdfs目录已删除的hive表分区

背景：此前因测试环境hdfs存储空间不足，利用hadoop fs -du -s命令查看后，顺手hadoop fs -rmr删除了存储较大的分区目录。此时并没有删除分区元数据信息。

今天在测试hive表ORCFile格式存储压缩率时，恰好用到之前的表来初始化数据，在写入数据时报了原表分区目录不存在的错误。

本以为使用msck repair table会自动清理掉分区，但查资料后发现该命令只负责”新增“对应目录的分区，不负责”清理“工作。看了几篇文章后，我决定把自己的解决方案发出来，因为它足够简单。

1.使用msck repair table ${tablename}，此时会将有分区但没有对应目录的分区信息全部列出
2.由于本例中我的分区字段是day,删除的目录都是2020年的，所以直接使用alter table ${tablename} drop partition(day<'2021-01-01') 即可。
3.对于其他不规则的分区，如果可以指定上界或者下界，该方法适用；
4.对于需要精准匹配的情况，可以通过文本编辑器，将步骤1结果中的每个分区处理成单条命令执行，例如:

alter table ${tablename} drop partition(partition='A');
alter table ${tablename} drop partition(partition='B');
alter table ${tablename} drop partition(partition='C');