Hive清理分区

Hive内部表和外部表

1.内部表没有external 关键字

2.内部表可以不指定 location关键字，当然hivesql执行外部表是也可以不指定，但是一般不这么用，sparksql，执行时不指定会报错

3.内部表删除表时，直接删除元数据以及实际数据，外部表则只会删除元数据，hdfs上保留数据

这一条会衍生一些东西

• 如果建立临时表，一般使用内部表，这样可以直接删除数据，不至于导致数据多余
• 删除外部表时，再create table ，然后insert overwrite 时，会使数据重复一倍，需要注意，这时候需要再insert overwrite 一次
• 外部表数据是hdfs控制，更加安全

4.由于外部表的路径可以指定，不会跑到默认的/user/hive/warehouse下面去，所以权限更加好控制

如何判断是内部表还是外部表

1. 进入hive，执行 describe extended tablename 查看表的详细信息。
2. 在hive中执行desc formatted tablename;可以查看表的格式和详细的信息
3. 在hive中执行，show create table tablename;，此时外部表是 create external table tablename

删除内部表和外部表

内部表

alter table tablename drop partition (date<'2021-01-01');

外部表

1. 先删除元数据: alter table cmp_gdm.cmp_gdm_fetr_custmz_jf_index_day drop partition (dt<'2021-01-01');

2. 删除文件，删除文件使用下面的命令，（写相关脚本）

   hdfs dfs -rm -r tablelocation/date=XXXX-XX-XX

参考

https://zhuanlan.zhihu.com/p/143129172