hive分桶表join_Hive中的数据分桶以及使用场景

hive bucketing in apache spark：https://myslide.cn/slides/12290

hive中有数据分区的方案，也有数据分桶的方案，今天我们就来探讨下数据分桶 以及数据分桶使用的场景。

该篇文章主要分为一下几个部分：

1.数据分桶的适用场景

2.数据分桶的原理

3.数据分桶的作用

4.如何创建数据分桶表

5.如何将数据插入分桶表

6.针对于分桶表的数据抽样

7.数据分桶的一些缺陷

数据分桶的适用场景：

分区提供了一个隔离数据和优化查询的便利方式，不过并非所有的数据都可形成合理的分区，

尤其是需要确定合适大小的分区划分方式，(不合理的数据分区划分方式可能导致有的分区数据过多，而某些分区没有什么数据的尴尬情况)

试试分桶是将数据集分解为更容易管理的若干部分的另一种技术。

数据分桶的原理:

跟MR中的HashPartitioner的原理一模一样

MR中：按照key的hash值去模除以reductTask的个数

Hive中：按照分桶字段的hash值去模除以分桶的个数

Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

数据分桶的作用:

好处：

1、方便抽样

2、提高join查询效率

(1)获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在(包含连接列的)相同列上划分了桶的表，可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。

(2)使取样(sampling)更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

创建数据分桶表:

创建数据分桶表与普通表的表区别并不太大，如下为一个创建数据分桶表的示例：

use clickcube;

CREATE EXTERNAL TABLE `clickcube_mid`(

`logtype` bigint,

`date` string,

`hour` bigint,

`projectid` bigint,

`campaignid` bigint,

`templateid` bigint,

`mediaid` bigint,

`slotid` bigint,

`channeltype` bigint,

`regioncode`string,

`campclick` bigint,

`campimp` bigint,

`mediaclick` bigint,

`mediaimp` bigint,

`templateimp` bigint,

`templatecampimp` bigint,

`mediaclickcost`double,

`campclickcost`double)

PARTITIONED BY (

&