博客讨论了如何利用Spark的cache功能优化shuffle过程，尤其是对于reduce-side-join的性能提升。通过介绍不同类型的缓存方法，如CACHE TABLE、缓存dataFrame，并探讨了相关参数设置，如`spark.sql.autoBroadcastJoinThreshold`，强调了合理缓存和调整参数对避免shuffle和提升运行效率的重要性。
cache表，数据放内存，数据被广播到Executor，
将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的 reduce 分区中去，也就是 shuffle 的过程。造成大量的网络以及磁盘IO消耗，运行效率极其低下，这个过程一般被称为 reduce-side-join。
如果其中有张表较小的话，我们则可以自己实现在 map 端实现数据关联，跳过大量数据进行 shuffle 的过程，运行时间得到大量缩短，根据不同数据可能会有几倍到数十倍的性能提升，这个过程是map-side-join。
reduce-side-join 的缺陷在于会将key相同的数据发送到同一个partition中进行运算，大数据集的传输需要长时间的IO，同时任务并发度收到限制，还可能造成数据倾斜。
reduce-side-join 运行图如下
map-side-join 运行图如下
最低0.47元/天 解锁文章
扫一扫
2566
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
