Hive中的表可以分为内部表(managed table)和外部表(external table)。
一、内部表:
1、未被external修饰的表,也叫管理表。
2、默认创建的表。
3、删除表会删除表的元数据(metadata)和表数据(data)。
Hive管理表的生命周期,删除表时会删除表的数据。
数据存储在Hive的数据仓库目录中,通常是在HDFS上的/user/hive/warehouse。
(一)、创建内部表:
1、创建
CREATE TABLE internal_table
(id INT, name STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
2、查看表格式化数据
desc formatted stable_name
3、上传表数据并查询表数据存储在HDFS的文件
dfs -put /opt/module/data/student.txt
/user/hive/warehouse/temp.db/stable_name
4、查询表的数据
select * from table_name
5、查询表的元数据(METADATA),元数据在mysql(我们需要先进入mysql)
select*from tbls;
6、删除表,并查看表data和metadata。
drop table student1;
二、外部表:
1、被external修饰的表。
2、删除表会删除表的元数据(metadata),但不会删除表数据(data)。
当你想让Hive表和数据分开管理时,可以创建外部表。
外部表不管理数据的生命周期,删除表不会删除数据。
数据存储在指定的HDFS位置。
(二)、创建外部表:
CREATE EXTERNAL TABLE external_table
(id INT, name STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/path/to/data';
(三)、其余操作与内部表一致
(四)内外部表的使用场景
内部表被drop后,表的data和metadata都会被删除;外部表被drop后,表的metadata会被删除,但是data不会被删除。如果不小心删掉外部表,重新建表location到数据存放在HDFS的相应路径即可。
使用场景:
(1)外部表:因其指删除表时不会删除HDFS上的数据,安全性相对较高,且指定目录的特性,适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。
(2)内部表:对原始数据或比较重要的中间数据进行建表存储。
(五)、数据管理方式:
数据(data)都存储在HDFS上,内部表由Hive自身管理,外部表数据由HDFS管理;元数据(metadata)都存储在mysql上,由mysql管理。