Spark性能调优案例-多表join优化，减少shuffle

fir_dameng

已于 2022-11-12 16:01:02 修改

阅读量2k

点赞数 1

分类专栏： Spark 文章标签： spark sql Spark3.0 多表join优化消除shuffle 逻辑优化

于 2022-11-12 15:55:56 首次发布

本文链接：https://blog.csdn.net/u014034497/article/details/127821040

版权

该博客分享了Spark性能调优的一个实际案例，通过排查发现任务中job过多、shuffle操作频繁及重复逻辑问题。解决方案包括合并job、优化join策略以及使用group by + max (split(concat(xxx))) 替换row_number。经过验证，优化后任务耗时从1小时降至10分钟，显著提高了效率。

摘要由CSDN通过智能技术生成

背景

A任务在凌晨1点到3点，平均耗时1h,且是核心公共任务，急需优化。
整体逻辑示意图：

// 从tableA读取一次数据，放到临时表t1
DROP TABLE IF EXISTS temp.tmp_xx_$date_1;
CREATE TABLE IF NOT EXISTS temp.tmp_xxx_$date_1
as 
select 
xxx
from  tableA
where xxxx;

// 从临时表t1读取和转换数据，得临时表t2
DROP TABLE IF EXISTS temp.tmp_xx_$date_2;
CREATE TABLE IF NOT EXISTS temp.tmp_xxx_$date_2
as 
SELECT
    device_id
   ,c2
FROM
(
    SELECT
        device_id
       ,c2
       ,ROW_NUMBER() OVER (PARTITION BY device_id ORDER BY time DESC) AS num
    FROM
    (
    	   select 
		 device_id
          ,c2
       from  temp.tmp_xx_$date_1
       where !isempty(c2) 
    )t
)t
WHERE t.num=1;

// 从临时表t1读取和转换数据，得临时表t3
DROP TABLE IF EXISTS temp.tmp_xx_$date_3;
CREATE TABLE