Hive之 管理表(内部表)与外部表

Hive之 管理表(内部表)与外部表

首先通过desc formatted tablename来看表是否为外部表/内部表。

内部表：当我们的数据需要通过Hive进行管理的时候或者生成临时表的时候，我们就用内部表

外部表：当我们需要从已有的HDFS的外部数据关联进Hive Table时， 而且防止误删数据的时候我们就用外部表。

内部表与外部表的特征比较

• ARCHIVE/UNARCHIVE/TRUNCATE/MERGE/CONCATENATE 只能用于内部表
• DROP table对外部表来说只删除关联的元数据，而对于内部表来说会删掉Hive管理的table、partition等相关的数据及元数据
• 新版本的Hive-事物ACID特性只对内部表有用
• 查询中间结果缓存只对内部表起作用

内部表

一般managed table（内部表）会按照配置的hive.metastore.warehouse.dir = /user/hive/warehouse/databasename.db/tablename在HDFS上存储，但是这个可以通过create table location进行位置替换，如果一内部表的table或者partition被drop，那么相关联的table、partition的数据与元数据都会被删掉。

官网建议:Use managed tables when Hive should manage the lifecycle of the table, or when generating temporary tables.

外部表

外部表描述了外部的文件的元数据，外部表可以被Hive之外的进程访问和管理，外部表的数据可以存储在HDFS、Azure Storage Volumnes。如果一个外部表的分区或者其它结构变化了，Hive不会自动将metadata的变化写入到Hive的METADATA组件中，可以手动mskc repair table tablename;添加并刷新元数据信息。

官网建议:Use external tables when files are already present or in remote locations, and the files should remain even if the table is dropped.