Hive的分桶表和分区表

定义：

分区表：根据某一个字段的值，将表数据分到不同的文件夹
分桶表：根据某一个字段的hashcode，将表数据分到多个文件中。

区别

分区针对的是数据的存储路径，分桶针对的是数据文件。

分区提供一个隔离数据和优化查询的便利方式。

分桶是将数据集分解成更容易管理的若干部分的另一个技术。

为什么要分桶？

1，更快，桶为表加上额外结构，链接相同列划分了桶的表，可以使用map-side join更加高效。

2，取样sampling更高效。没有分区的话需要扫描整个数据集。