超级会员免费看
本文深入解析Spark 2.1.x中的Shuffle过程中JVM Unified Memory，包括Spark Unified Memory的原理、JVM最小配置、用户空间OOM条件、Broadcast存储位置以及ShuffleMapTask数据存储。着重讨论了User Memory和Spark Memory的划分，以及Execution和Storage在内存不足时如何相互借用和调整。
第30课：彻底解密Spark 2.1.X中Shuffle中JVM Unified Memory内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么？用户空间什么时候会出现OOM？Spark中的Broadcast到底是存储在什么空间的？ShuffleMapTask的使用的数据到底在什么地方？
- Spark Unified Memory的运行原理和机制是什么？ Spark Unified Memory，这是统一或者联合的意思，但是 Spark 没有用 Shared 这个字，例如 A 和 B 进行 Unified 和 A 和 B 进行 Shared 其实是两个不同的概念 。
- Spark JVM最小配置是什么ÿ
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
