第32课：彻底解密Spark 2.1.X中Shuffle 下Task视角内存分配管理

最新推荐文章于 2023-12-13 14:14:31 发布

段智华

最新推荐文章于 2023-12-13 14:14:31 发布

阅读量1.3k

点赞数

分类专栏： SparkInBeiJing Spark shuffle

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/71438570

版权

SparkInBeiJing 同时被 2 个专栏收录

81 篇文章 203 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Spark shuffle

27 篇文章 195 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入剖析Spark 2.1.X中Shuffle Task的内存分配管理，探讨UnifiedMemoryManager如何处理Execution和Storage Memory，包括内存借用机制、Task内存分配策略以及TaskMemoryManager的角色。重点讲解acquireExecutionMemory和acquireStorageMemory方法，以及UnifiedMemoryManager如何影响内存性能。

摘要由CSDN通过智能技术生成

第32课：彻底解密Spark 2.1.X中Shuffle 下Task视角内存分配管理

本文根据家林大神系列课程编写 http://weibo.com/ilovepains

Spark 2.1.X内存管理包含2种类型：统一内存管理 UnifiedMemoryManager、静态内存StaticMemoryManager。这两种内存的管理方式最终要落实到Task的运行。我们先从源码角度对Spark内存管理进行回顾，从Spark Task的视角解析Task运行内存管理源码。在Spark 2.1.X中默认使用的UnifiedMemoryManager的统一内存管理的方式，从Task运行的角度来讲是Execution级别的，也就是UnifiedMemoryManager的核心是Execution Memory。Execution Memory主要做的事情是Shuffle、Sort、Aggregate等。我们为什么将Execution Memory的内存调大，理论上讲，Execution Memory的内存越大，IO就越来越少。Execution Memory相对于内存的占用比较强势。当Execution Memory空间不足而且Storage Memory空间也不足的时候，Storage Memory空间会被强制drop掉一部分数据来解决Execution 的空间不足问题。

Spark2.1.X内存管理UnifiedMemoryManager的管理方式从源码的角度看有2个核心方法：