记一次spark两个大表join数据倾斜调优

重生之我在异世界打工

已于 2022-03-18 15:39:00 修改

阅读量2.8k

点赞数

分类专栏： spark 文章标签： spark big data sql

于 2022-03-18 15:06:33 首次发布

本文链接：https://blog.csdn.net/weixin_44628586/article/details/123575338

版权

spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文探讨了在处理7亿条a表与1亿条b表关联时遇到的数据倾斜问题，通过拆分join操作、针对c1缺失值处理和性能调优，成功将运行时间从16分钟缩短到58秒。关键步骤包括避免全量join、处理null值策略和使用拆分查询策略。

摘要由CSDN通过智能技术生成

a表7亿条
b表1亿条

a表
aid c1 c2 c3
b表
bid bvalue

需求：分别用a表的c1 c2 c3与b表的bid关联（left join），获取bvalue 来扩充a表

1.直接写三个left join 发现数据倾斜
2.c1 c2 c3 只关联一次如下，进行查看，发现不会出现数据倾斜
	df1=spark.sql("select * from b")
	df2=spark.sql("select * from a")
	df3=df2.join(df1,df2.c1=df1.bid,left)
	df3.show()
3.考虑为什么一次join 不会出现数据倾斜，多次join就会出现
4.因为df3.show() 不会用全部的数据去join，或者说show只会返回部分结果，spark不会用全部数据去计算。多次join，两张表先join（是全量数据），再去和下一个join。
5.查看a表的数据情况,发现c1 为null的情况非常多。
	select c1,count(1) as cnt from a group by c1 order by cnt desc;
6.解决办法。虽然c1 c2 c3为null的非常多，但是不能去掉这一行数据。
  两张表又都是大表。所以采用 拆分join
  由于逻辑c1为null c2 c3必为null，所以有如下sql
  df1=spark.sql("select * from a where c1 is not null")
  df2=spark.sql(select * from b)
  df3=df1.join(df2,xx,xx)  三次join

  df4=spark.sql("select * from a where c1 is null")
  df4=df4.withColumn('xx',F.array())  由于bvalue是一个array，所以这里放array

  最后df3 df4 union
  df5=df3.unionAll(df4)

7.调优前job运行16分钟，调优后58s。