1.hive分区
分区针对的是数据的存储路径,分区提供一个隔离数据和优化查询的便利方式。不过并不是所有的数据集都可形成合理的分区。
create table student_partitioned(score int , name string ,name string) partitioned by (age int) row format delimited fields terminated by '\t';
2.hive分桶
1.分桶针对的是数据文件,分桶是将数据集分解成更容易管理的若干部分的另一个技术。
2.相比于分区表,分桶表是对数据进行更细粒度的划分,分桶表将整个数据内容按照某列属性值的哈希值进行区分,例如按照用户ID属性分为三个桶,就是对用户ID属性值的哈希值对3取模运算,按照取模结果对数据分桶。
所以分桶的规则就是对分桶的字段进行取哈希值,然后用该哈希值除以桶的个数取余数,余数决定了该条记录会被分到哪个桶中。
3.在物理结构上一个桶对应一个文件,而分区表的分区只是一个目录,至于目录下有多少数据时不确定的。
create table student_buck(id int ,name string) clustered by(id) into 4 buckets row format delimited fields terminated by '\t';
4.向分桶表中插入数据要使用insert overwrite table …若使用load data local inpath 这种方式即使设置了强制分桶也不起作用。
5.插入数据前需要设置属性:
set hive.enforce.bucketing=true;