hive存储格式和表类型,分区分桶

最新推荐文章于 2024-05-21 11:40:29 发布

chuya1943

最新推荐文章于 2024-05-21 11:40:29 发布

阅读量400

点赞数

文章标签：大数据

原文链接：https://my.oschina.net/u/2969788/blog/1615049

版权

存储格式

内部表:一般的表 ,删除表数据会一同被删除
外部表:是对HDFS上的文件的引用,删除表不会删除数据
分区表:可以根据key,进行分区,方便查询,选择key时要防止数据倾斜
桶表: 对某一列数据,进行哈希取值然后存放到不同的文件中,可以分区再分桶,hive是最对某一列进行分桶的,分桶有助于数据抽样和提升某些查询效率,分桶是对分区的进一步细化

对于每一个表（table）或者分区（partition）， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket）有两个理由

获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接（Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。
使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

分桶不一过多,Hadoop擅长处理大块的数据文件,如果分桶过多,将产生更多小的文件,最好根据大区域的属性进行分桶,比如说收集商场数据,可以根据每个楼层分桶而不应该根据没有数据收集终端id 分桶

转载于:https://my.oschina.net/u/2969788/blog/1615049

关注