11-大数据-hive分区表和分桶表的区别

hive把表组织成分区，根据分区列对表进行粗略划分的机制，使用分区加快数据分片的查询速度

分区在HDFS上的表现形式是一个目录， 分桶是一个单独的文件

分区: 细化数据管理，直接读对应目录，缩小mapreduce程序要扫描的数据量
分桶： 1、提高join查询的效率（用分桶字段做连接字段） 2、提高采样的效率

数据分桶的适用场景:
1> 分区提供了一个隔离数据和优化查询的便利方式，不过并非所有的数据都可形成合理的分区，尤其是需要确定合适大小的分区划分方式，（不合理的数据分区划分方式可能导致有的分区数据过多，而某些分区没有什么数据的尴尬情况）
分桶是将数据集分解为更容易管理的若干部分的另一种技术
2> 数据有严重的数据倾斜，分布不均匀，但是相对来说每个桶中的数据量会比较平均。桶于桶之间做join等查询的时候，会有优化

把表或分区组织成桶有两个理由 :
1> 桶为数据提供额外的结构来获得更高效的查询。例如通过用户ID来划分桶，在所有用户集合的随机样本上快速计算基于用户的查询。 连接两个在(包含连接列的)相同列上划分了桶的表，可以使用map端高效的实现
2> 使 取样 或 采样 更高效，在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，带来方便
3> 单个分区或者表中的数据量越来越大，当分区不能更细粒的划分数据时，所以会采用分桶技术将数据更细粒度的划分和管理
（1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。

（2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便

分桶表的作用：最大的作用是用来提高join操作的效率；但是两者的分桶数要相同或者成倍数。
为什么可以提高join操作的效率呢？因为按照MapReduce的分区算法，
是Id的HashCode值模上ReduceTaskNumbers，所以一个ID会分到同一个桶中，这样合并就不用整个表遍历求笛卡尔积了，对应的桶合并就可以了

hive数据表可以根据某些字段进行分区操作，细化数据管理，可以让部分查询更快。同时表和分区可以进一步地被划分为buckets，分桶表的原理和MapReduce编程中的hashPartitioner的原理类似

分区和分桶都是细化数据管理，但是分区表是手动添加区分，由于hive是读模式，所以对添加进分区的数据不做模式校验。分桶表的数据时按住某些分桶字段进行hash散列 相乘的多个文件，所以数据的准确性高很多

分区表是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹

分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的hash值进行区分，如要按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件

归纳总结两者的区别：
从表现形式上：
分区表是一个目录，分桶表是文件

从创建语句上：
分区表使用partitioned by 子句指定，指定字段为伪列，需要指定字段类型
分桶表由clustered by 子句指定，指定字段为真实字段，需要指定桶的个数

从数量上：
分区表的分区个数可以增长，分桶表一旦指定，不能再增长

从作用上：
分区避免全表扫描，根据分区列查询指定目录提高查询速度
分桶保存分桶查询结果的分桶结构（数据已经按照分桶字段进行了hash散列）。
分桶表数据进行抽样和JOIN时可以提高MR程序效率