【hive面试】Hive分区和分桶的区别

1.hive分区

分区针对的是数据的存储路径，分区提供一个隔离数据和优化查询的便利方式。不过并不是所有的数据集都可形成合理的分区。

create table student_partitioned(score int , name string ,name string) partitioned by (age int) row format delimited fields terminated by '\t';

2.hive分桶

1.分桶针对的是数据文件，分桶是将数据集分解成更容易管理的若干部分的另一个技术。
2.相比于分区表，分桶表是对数据进行更细粒度的划分，分桶表将整个数据内容按照某列属性值的哈希值进行区分，例如按照用户ID属性分为三个桶，就是对用户ID属性值的哈希值对3取模运算，按照取模结果对数据分桶。
所以分桶的规则就是对分桶的字段进行取哈希值，然后用该哈希值除以桶的个数取余数，余数决定了该条记录会被分到哪个桶中。
3.在物理结构上一个桶对应一个文件，而分区表的分区只是一个目录，至于目录下有多少数据时不确定的。

create table student_buck(id int ,name string) clustered by(id) into 4 buckets row format delimited fields terminated by '\t';

4.向分桶表中插入数据要使用insert overwrite table …若使用load data local inpath 这种方式即使设置了强制分桶也不起作用。
5.插入数据前需要设置属性：

set hive.enforce.bucketing=true;