Hive 内部与外部表

 

Hive中的表可以分为内部表（managed table）和外部表（external table）。

一、内部表：

  1、未被external修饰的表，也叫管理表。
2、默认创建的表。

3、删除表会删除表的元数据(metadata)和表数据(data)。

Hive管理表的生命周期，删除表时会删除表的数据。

数据存储在Hive的数据仓库目录中，通常是在HDFS上的/user/hive/warehouse。

（一）、创建内部表：

1、创建

CREATE TABLE internal_table

 (id INT, name STRING)

 ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

2、查看表格式化数据
desc  formatted  stable_name
3、上传表数据并查询表数据存储在HDFS的文件

dfs -put /opt/module/data/student.txt

/user/hive/warehouse/temp.db/stable_name

4、查询表的数据
select * from table_name
5、查询表的元数据(METADATA),元数据在mysql（我们需要先进入mysql）

select*from tbls;

6、删除表，并查看表data和metadata。

drop table student1;

二、外部表：

1、被external修饰的表。

2、删除表会删除表的元数据(metadata),但不会删除表数据(data)。

当你想让Hive表和数据分开管理时，可以创建外部表。

外部表不管理数据的生命周期，删除表不会删除数据。

数据存储在指定的HDFS位置。

（二）、创建外部表：

CREATE EXTERNAL TABLE external_table

 (id INT, name STRING)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

 LOCATION '/path/to/data';
（三）、其余操作与内部表一致

（四）内外部表的使用场景

内部表被drop后，表的data和metadata都会被删除；外部表被drop后，表的metadata会被删除，但是data不会被删除。如果不小心删掉外部表，重新建表location到数据存放在HDFS的相应路径即可。

使用场景：

（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。

（2）内部表：对原始数据或比较重要的中间数据进行建表存储。

（五）、数据管理方式：

数据(data)都存储在HDFS上，内部表由Hive自身管理，外部表数据由HDFS管理；元数据(metadata)都存储在mysql上，由mysql管理。