数据仓库的分区与分桶

谈数据仓库的分区与分桶浅显理解

分区解释：将数据仓库内存储数据量大的表，按表中列值进行切片，列值一样的数据划分到一起，列值分类有多少种就至少有这么多的分区目录。如：某电商公司订单表按天分区，按订单表的下单时间在同一天的数据划分到一个目录中。
分桶解释：将数据仓库内存储数据量大的表，按表中列值的hash值对想划分的桶数取模，值一样活着同样在某些范围内的数据划分到一起，划分桶数有多少就有多少分桶目录。如：某电商公司订单表按天分区下再按订单号分桶，按订单表的下单时间在同一天的数据划分到一个目录中,再将数据按订单号进行hash取值，若分桶数是3，则对3取模，取模结果想同的放在一起。
比较：
1.都是对数据文件进行划分，但是划分的方式不一样，分区是粗粒度的切片划分，分桶是细粒度的划分。
2.分区按值切分，可能会让分区目录大小不一样，分桶会让分完的每个桶大小相差无几。
3.分区和分桶都可以加快代码查询速度，但加快的方向不太一样，分区更多在于对数据过滤以及表关联或者统计时省却全表扫描，而分桶的速度加成直接体现在两个分桶表在用各自的分桶字段，可以使用 Map 端连接 （Map-side join）高效的实现。
4.分区和分桶各自还有一个优点就是，分区便于对数据进行管理，分桶使数据取样更便捷。