Spark的StaticMemoryManager

九师兄

于 2017-11-27 09:05:16 发布

阅读量934

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark 内存分配 StaticMemoryManager

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78641586

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了Spark 1.6版本引入的新内存管理方案StaticMemoryManager，探讨了其工作原理，包括如何分配存储和执行内存，以及内存管理的缺陷，为理解UnifiedMemoryManager的出现提供了背景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1.分水岭 spark1.6版本

Spark 1.6 中引入了新的内存管理方案，以前为StaticMemoryManager，这一节先看看旧的。这个会出现很多OOM异常
　　
#2. 默认使用新的方案StaticMemoryManager

刚刚提到自 1.6 版本引入了新的内存管理方案，但并不是说在 1.6 版本中不能使用旧的方案，而是默认使用新方案。我们可以通过设置 spark.memory.userLegacyMode 值来选择，该值为 false 表示使用新方案，true 表示使用旧方案，默认为 false。该值是如何发挥作用的呢？看了下面的代码就明白了：

// =======================创建MemoryManager==================================================================
    /**
      * 根据 spark.memory.useLegacyMode 值的不同，会创建 MemoryManager 不同子类的实例：
      * 值为 false：创建 UnifiedMemoryManager 类实例，该类为新的内存管理模块的实现
      * 值为 true：创建 StaticMemoryManager类实例，该类为1.6版本以前旧的内存管理模块的实现
      * */

了解本专栏