hive表分类及其数据存储

hive表的分类:

内部表:管理表/managed_table,表的创建、表的数据的删除都是由hive自己决定的,像mysql中的表,内部表在进行删除的时候,
元数据和原始数据都会被删除。

外部表:external_table,和内部表对立,hive中的表不肯同时是内部表又是外部表的,该表结构上同内部表一样,
但是数据hive自己不能决定,外部表在进行删除的时候,只能删除元数据而原始数据还是存在与hdfs上。

分区表:hive中的分区概念不同与mapreduce中的分区,hive中有可能一个表非常大,查询的时候会进行全表扫描,极大的降低hive表的
查询效率,这时就出现了分区表,将原来的一个大的表存储的时候分成不同的数据目录进行存储。例如:现在有一个课程表,不使用分区
表的时候,我们按照课程查询的时候会全盘扫描这个表,然后得出结果,使用分区表时会按照课程分区(存在hdfs的不同目录下),这
时候查询数据只会扫描某一个分区(目录)的数据,减少扫描范围,提升查询性能。

分桶表:类似于mapreduce中的分区的概念,同一个表的数据存储在同一个目录中的不同文件中,分桶表只能指定
分桶的个数,桶的个数类似于reducetask的个数,分桶表不能提升查询性能,但是能提升join的性能和抽样(数据量大时候进行
抽样)的性能。

hive视图:
hive只有逻辑视图(存储的仅仅是一个sql语句,不会执行),没有物化视图(将视图代表的sql进行执行结果)。hive在查询视图的时候才会执行,相当于sql语句的快捷方式。
hive数据存储:

hive原始数据存在hdfs上,默认存在hdfs的:/user/hive/warehouse	
										   /....db  代表数据库
											/test01	代表当前数据库的表
hive元数据,如果配置了mysql数据库,则存在于mysql中,若没有配置,则存在于hive默认的数据库中。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值