内部表&外部表
未被external修饰的是内部表(managed table)可省略,被external修饰的为外部表(external table);
区别:
内部表数据由Hive自身管理,外部表数据由HDFS管理;
内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse)加location '/input/table_data';指定路径,外部表数据的存储位置由自己制定;
删除内部表会直接删除元数据(metadata)及存储数据;删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除;
对内部表的修改会将修改直接同步给元数据,而对外部表的表结构和分区进行修改,则需要修复(MSCK REPAIR TABLE table_name;)
如下,进行试验进行理解
创建内部表t1
create table t1(
id int
,name string
,hobby array<string>
,add map<String,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
;
2. 查看表的描述:desc t1;
3.上传数据:
load data local inpath '/home/hadoop/Desktop/data' overwrite into table t1;
hadoop fs -put path /path
local:复制上传,从Linux本地文件系统上传到表格
无local:剪切上传,从hdfs文件系统上传到表格
创建一个外部表t2
create external table t2(
id int
,name string
,hobby array<string>
,add map<String,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
location '/user/t2'
;
因而外部表仅仅删除元数据