hive内外表比较与切换

hive内外表那点儿事

1. 内表与外表比较

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
  (col_name data_type [COMMENT 'col_comment'], ...)
  [PARTITIONED BY (col_name data_type [COMMENT 'col_comment'], ...)]
  [COMMENT 'table_comment']
  [WITH SERDEPROPERTIES ('key1'='value1', 'key2'='value2', ...)]
  [
   [ROW FORMAT row_format] [STORED AS file_format]
  ]
  [LOCATION 'hdfs_path']
  [TBLPROPERTIES ('key1'='value1', 'key2'='value2', ...)]
  [CACHED IN 'pool_name' [WITH REPLICATION = integer] | UNCACHED]

external关键字用来区分内部表和外部表，location指定也可以不指定默认为hive仓库路径
1） 外部表删除表仅仅删除hive中元数据不删除数据和指定的路径，内部表如果drop掉表，数据和默认路径都删除了；
2） 在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由它自己来管理的！而内部表则不一样；
3） 内部表数据由Hive自身管理，外部表数据由HDFS管理；
4） 对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）

2. 内表与外表转换

--内部转外部
alter table tablename set TBLPROPERTIES('EXTERNAL'='TRUE');

--外部转内部
alter table tablename set TBLPROPERTIES('EXTERNAL'='FALSE');

3. 删除外部表数据的几种方式
   1） 先将外部表转为内部表，然后再drop，如：

alter table tablename set TBLPROPERTIES('EXTERNAL'='FALSE');
drop table tablename;

2）先drop，然后在hdfs清空数据，如：

drop table tablename;

hdfs dfs -rm -r /user/hive/tablename/partition=yyyy-mm-dd

3)	从hive4.0.0开始，设置表属性 external.table.purge=true，也将删除数据。

alter table tablename set TBLPROPERTIES('external.table.purge'='true');
drop table tablename;