如何解决数据倾斜问题

最新推荐文章于 2024-05-31 18:05:52 发布

小§白

最新推荐文章于 2024-05-31 18:05:52 发布

阅读量343

点赞数 5

文章标签： hive

本文链接：https://blog.csdn.net/m0_68683320/article/details/138682438

版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

目录

前言

一、Join数据倾斜

1.解决方案一

2.解决方案二:

总结

前言

解决数据倾斜问题

一、Join数据倾斜

在前序讲解reduce 端 JOIN的时候, 描述过reduce 端Join的问题, 其中就包含reduce端Join存在数据倾斜的问题

1.解决方案一

代码如下：

Map Join (默认开启), 
Bucket Map Join(默认关闭,条件是分桶表,且数量是倍数关系) , 
SMB Join(条件是分桶表,且桶数量必须一致,插入数据的时候要排序)
    
注意:  
   通过 Map Join,Bucket Map Join,SMB Join 来解决数据倾斜, 但是 这种操作是存在使用条件的, 如果无法满足这些条件,  无法使用 这种处理方案

2.解决方案二:

思路: 将那些产生倾斜的key和对应v2的数据, 从当前这个MR中移出去, 单独找一个MR来处理即可, 处理后, 和之前的MR进行汇总结果即可

关键问题: 如何找到那些存在倾斜的key呢? 特点: 这个key数据有很多

1.运行期处理方案:
思路: 在执行MR的时候, 会动态统计每一个 k2的值出现重复的次数, 当这个重复的次数达到一定的阈值后, 认为当前这个k2的数据存在数据倾斜, 自动将其剔除, 交由给一个单独的MR来处理即可,两个MR处理完成后, 将结果基于union all 合并在一起即可

代码如下：

 set hive.optimize.skewjoin=true;  -- 开启运行期处理倾斜参数默认false
        set hive.skewjoin.key=100000;   -- 阈值,  此参数在实际生产环境中, 需要调整在一个合理的值(否则极易导致大量的key都是倾斜的),默认100000

判断依据: 查看 join的字段对应重复的数量有多少个, 然后选择一个合理值
              比如判断: id为 1 大概有 100w id为 2 88w id 为 3 大概有 500w   设置阈值为大于500w次数据
               或者: 总数量大量1000w, 然后共有 1000个班级, 平均下来每个班级数量大概在 1w条, 设置阈值: 大于 3w条 ~5w条范围 (超过3~5倍才认为倾斜)


    适用于: 并不清楚那个key容易产生倾斜, 此时交由系统来动态检测

2.解决方案三:
    思路1: 在创建这个表的时候, 我们就可以预知到后续插入到这个表中数据, 那些key的值会产生倾斜, 在建表的时候, 将其提前配置设置好即可, 在后续运行的时候, 程序会自动将设置的key的数据单独找一个MR来进行处理即可, 处理完成后, 再和原有结果进行union all 合并操作

    实操1:

 set hive.optimize.skewjoin.compiletime=true;  -- 开启编译期处理倾斜参数
        
        CREATE TABLE list_bucket_single (key STRING, value STRING)
        -- 倾斜的字段和需要拆分的key值
        SKEWED BY (key) ON (1,5,6)
        -- 为倾斜值创建子目录单独存放
        [STORED AS DIRECTORIES];

思路2: 大量的key可以拼接rand()
实操2: 举例: 如果大量相同的男,可以拼接随机数: concat('男',rand())

适用于: 提前知道那些key存在倾斜