Hive 中内部表与外部表的区别与创建方法

先来说下Hive中内部表与外部表的区别:  

1)创建表时:创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。

2)删除表时:在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 


另外需要注意的是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在load时是不检查数据是否 符合schema的,hive 遵循的是 schema on read(读时模式),只有在读的时候hive才检查、解析具体的   数据字段、schema。  
读时模式的优势是load data 非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。  
写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。  

下面来看下 Hive 如何创建内部表:  
1 create table inner_table(userid string);//内部表
2 LOAD DATA INPATH '/tmp/inner_table/20121213' INTO TABLE inner_table partition(ptDate='20121213');
这个很简单,不多说了,下面看下外部表:  
01 hadoop fs -ls /tmp/outer_table/20121214
02 Found 2 items
03 -rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/outer_table/20121214/part-00000
04 -rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/outer_table/20121214/part-00001
05 -- 建表
06 create EXTERNAL table IF NOT EXISTS outer_table (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07 -- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
08 -- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
09 alter table test add partition (ptDate='20121214') location '/tmp/outer_table/20121214';
10 -- 注意目录20121214最后不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。

注意:location后面跟的必须是目录

最后提下还有一种方式是建表的时候就指定外部表的数据源路径,表中没有分区列。这样的坏处是只能加载一个数据源。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值