![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 91
克念
这个作者很懒,什么都没留下…
展开
-
SparkStreaming 的Exactly Once实现方式总结
流式处理SparkStreaming 的 exactly once的讨论和实现原创 2022-01-24 19:07:07 · 2180 阅读 · 0 评论 -
Adaptive Execution如何让Spark SQL更高效更好用?
文章目录 背景 动态设置 Shuffle Partition Spark Shuffle 原理 原有 Shuffle 的问题 自动设置 Shuffle Partition 原理 使用与优化方法 动态调整执行计划 固定执行计划的不足 SortMergeJoin 原理 BroadcastJoin 原理 动态调整执行计划原理 使用与优化方法 自动处理数据倾...转载 2020-01-19 10:50:20 · 259 阅读 · 0 评论