企业级实战优化宽表任务数据倾斜

Albert_XZR

已于 2024-06-26 14:25:52 修改

阅读量144

点赞数 1

文章标签： sql hive 数据仓库大数据

于 2024-06-20 20:05:08 首次发布

本文链接：https://blog.csdn.net/weixin_44582959/article/details/139841623

版权

相关链接: 记录一次企业级数据倾斜发现、分析、处理和解决的实操

此次数据倾斜原因与上次case大差不大过程就不多叙述了, 直接上优化成果

可以看到任务调度从近6小时 -> 13分钟
在这里插入图片描述

例子:

-- 原关联sql
on undone.source_order_id = order_d.qunar_order_id 

-- 修改后的关联sql `order_id是不重复的id`
on if(undone.source_order_id = '', concat('sql_hive', undone.order_id), undone.source_order_id) = order_d.qunar_order_id -- 处理数据倾斜