为什么要引入分区和桶的概念?
eg partitiond by(time date)
静态分区:分区的值是确定的【假设有一个程序,每天都统计销售额,按照日期进行分区 每天的插入到制定的日期分区】
动态分区:分区的值是不确定的,由输入的数据确定【比如:京东有很多二级类目,每一个二级类目对应多个产品,按照二级类目分区】
是否是动态分区由set hive.exec.dynamic.partition决定【=true时为动态分区】
如果模式设置为strict 必须有一个静态分区【为了灵活使用,一般会设置为 none strict 】
clustered by 将每一个reduce处理的数据 不重复 全局排序
sort by 保证桶的数据是有序的
distributed by 将数据分到不同的reduce中,数据是无序的
桶表【bucketed sorted tables】
create table pag
hive的select会扫描整个表的内容, 引入partition 桶【把hive表的数据划分为快】。
partition更粗粒度 桶更细粒度 在小范围的查询上提高效率。
分区:
eg partitiond by(time date)
静态分区:分区的值是确定的【假设有一个程序,每天都统计销售额,按照日期进行分区 每天的插入到制定的日期分区】
动态分区:分区的值是不确定的,由输入的数据确定【比如:京东有很多二级类目,每一个二级类目对应多个产品,按照二级类目分区】
是否是动态分区由set hive.exec.dynamic.partition决定【=true时为动态分区】
如果模式设置为strict 必须有一个静态分区【为了灵活使用,一般会设置为 none strict 】
每一个分区字段都有一个目录存储
partitoned by(字段【为字段,不能跟表定义的字段重】)clustered by 将每一个reduce处理的数据 不重复 全局排序
sort by 保证桶的数据是有序的
distributed by 将数据分到不同的reduce中,数据是无序的
桶表【bucketed sorted tables】
create table pag