数据倾斜整理

数据倾斜处理：

数据倾斜的原因：

(1)数据规范问题。
a.关联字段类型不一致。
b.关联表设计规范不同，给出的默认值不一样
(2)数据分布差别较大

解决方案

1. 数据预处理

对于空值存在过多的情况，考虑进行随机数赋值或过滤
对于数据规范问题，如关联字段类型，或默认值的问题考虑进去

2. 行过滤，列值裁剪

业务中很多情况下，不需要关联大表全部数据，也不需要表的全部字段，所以最好进行一轮筛选，尽可能关联自己需要的那部分数据，这个可以解决大部分场景

3. 表分区分桶

通过建立临时分区分桶表的形式，同步大小表的分区结构，用分区字段关联，减少全表扫描

4. SQL处理

a:大表join小表
如果小表足够小， 用加hint关键字的方式，将小表广播到每个node里面,必要时可以适当调整小表的阈值；
如果小表不是小到可以广播的情况，可以采用策略，将大表打散，小标扩容
具体来说：(1). 先对大表发生倾斜字段用group by 后count进行探查
(2).对大表倾斜字段单独处理,用concata添加前缀（后缀）把数据进行打散
对小表用侧视图配合explode函数进行等额扩容
引用文章
b:大表join大表
(1)对两张表基于同一个分区字段重构表
(2)创建index基于join key
(3)根据需求分步join，或者分布聚合
(4)从设计角度考虑，这种大表本身应该包含的信息非常多，应该早做拆解。 采取归档或冷处理的操作

5.根据explain查询执行计划，配合Hint关键字调优

broadcast join
将小表数据分发到每个节点（默认10M），在牺牲executor空间的基础上，换取shuffle操作的大量耗时

select + /*+ BROADCASTJOIN(B) */

shuffle hash join
当小表不足以广播，对两张表分别按照hash 后的join keys进行重分区，即shuffle，目的是为了让有相同join keys值的记录分到对应的分区中

-- Use a hint to suggest a shuffle hash join
SELECT /*+ SHUFFLE_HASH_JOIN(t1, t2) */
    t1.*, t2.*
FROM
    table1 t1
JOIN
    table2 t2
ON
    t1.join_key = t2.join_key;

sort merge join
将两张表按照join keys进行了重新shuffle，保证join keys值相同的记录会被分在相应的分区。分区后对每个分区内的数据进行排序，排序后再对相应的分区内的记录进行连接

因为两个序列都是有序的，从头遍历，碰到key相同的就输出；如果不同，左边小就继续取左边，反之取右边

-- Use a hint to suggest a sort merge join
SELECT /*+ MERGE(t1, t2) */
    t1.*, t2.*
FROM
    table1 t1
JOIN
    table2 t2
ON
    t1.join_key = t2.join_key;

6.成本较大的查询，可以进行缓存和持久化操作或物化视图

7.参数优化

开启负载均衡

set hive.groupby.skewindata=true;

往分区表写数据时，开启动态分区模式写入

SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;