Spark的新方案UnifiedMemoryManager内存管理模型分析

最新推荐文章于 2023-03-04 15:46:18 发布

九师兄

最新推荐文章于 2023-03-04 15:46:18 发布

阅读量1.1k

点赞数 1

分类专栏：大数据-spark 文章标签： spark UnifiedMemoryManager

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/79108106

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文深入分析Spark的UnifiedMemoryManager内存管理模型，探讨其内存分配、系统预留、execution与storage内存的动态调整，以及如何在双方内存不足时互相借用，提高内存利用率。讲解了acquireStorageMemory和acquireExecutionMemory方法的工作原理，以及在不同场景下的内存控制策略。

摘要由CSDN通过智能技术生成

在这里插入图片描述

StaticMemoryManager继承与MemoryManager，它是静态的内存分配，是1.6版本以前的实现，就像是建筑商建造好了房子，用户来到直接住进去就好了（弊端：有的人多住了小房子，有的人少住了大房子）。而UnifiedMemoryManager是自由分配内存的实现，相当于组装房，你要多大我给你多大。

这里写图片描述

#1.初始化
　　spark.memory.useLegacyMode值为 false：创建 UnifiedMemoryManager 类实例，该类为新的内存管理模块的实现

else {
        // 否则，使用最新的UnifiedMemoryManager内存管理模型，即统一内存管理模型
        // 我们再看下UnifiedMemoryManager，即统一内存管理器。在SparkEnv中，它是通过如下方式完成初始

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【硬刚大数据】我们在学习Spark的时候，到底在学习什么？

微信搜：import_bigdata，大数据领域硬核原创作者

08-29

489

欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。很多小伙伴在群里或者私信留言问我关于Spark的学习路径问题。 Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成..

Spark之内存管理MemoryManager及统一内存管理源码分析

ylltw01的博客

04-23

304

Spark MemoryManager 1.MemoryManager接口 1.1.概述在Spark中，MemoryManager接口定义了Storage内存和Execution内存统一管理分配的公共方法。包括堆内以及堆外内存。 1.2.相关成员 // 堆内Storage内存池 protected val onHeapStorageMemoryPool = new StorageMemoryPo...

参与评论您还未登录，请先登录后发表或查看评论

SparkUnifiedMemoryManager内存管理模型分析

01-27

Spark的内存使用，大体上可以分为两类：Execution内存和Storage内存。在Spark1.5版本之前，内存管理使用的是StaticMemoryManager，该内存管理模型最大的特点就是，可以为Execution内存区与Storage内存区配置一个静态的boundary，这种方式实现起来比较简单，但是存在一些问题：为了克服上述提到的问题，尽量提高Spark计算的通用性，降低内存调优难度，减少OOM导致的失败问题，从Spark1.6版本开始，新增了UnifiedMemoryManager（统一内存管理）内存管理模型的实现。UnifiedMemoryManager依赖的一些组件类及

介绍一下你对 Unified Memory Management 内存管理模型的理解

weixin_59295776的博客

12-25

625

Spark中的内存使用分为两部分：执行（execution）与存储（storage）。执行内存主要用于shuffles、joins、sorts和aggregations，存储内存则用于缓存或者跨节点的内部数据传输。

Spark统一内存管理：UnifiedMemoryManager

aijiudu的博客

09-19

2226

@DT大数据梦工厂 Spark统一内存管理：UnifiedMemoryManager，内存管理图： Spark静态内存管理：StaticMemoryManager请看：http://blog.csdn.net/aijiudu/article/details/77885953 一、统一内存管理：Execution和Storage之间是软边界，任一方都可以从另一方借用内存。Execution...

内存管理模型理解

水可马二的博客

01-12

631

1 内存管理以stm32 f407开发板一个简单内存管理实例（分块式内存管理）进行说明，主要目的是理解内存管理的基本原理与实现方式，在其他很多系统中，都有更复杂高效的内存管理算法，可在后续工作中深入学习。2 分块式内存管理分析内存管理，是指软件运行时对芯片内存资源的分配和使用的技术。其最主要的目的是：如何高效，快速的分配，并且在适当的时候释放和回收内存资源。内存管理的实现方法有很多种，他们其实最终都

spark1.6统一内存管理(UnifiedMemoryManager)

CxCo的专栏

04-07

2080

从spark1.6开始，引入了新的内存管理方式-----统一内存管理(UnifiedMemoryManager)。在统一内存管理下，spark一个executor中的jvm heap内存被划分成如下图: 在开始介绍图中各个部分之前，我们先明确一个概念（我还是以我熟悉spark on yarn来介绍），我们在为Executor申请内存的时候，实际是JVM 的堆(heap)内存。而JVM

Spark源码分析之九：内存管理模型

辰辰爸的博客

02-27

6965

Spark是现在很流行的一个基于内存的分布式计算框架，那么，自然而然的，内存的管理就是Spark存储管理的重中之重了。那么，Spark究竟采用什么样的内存管理模型呢？本文就为大家揭开Spark内存管理模型的神秘面纱。还记得我们在《》一文中提到的，在Task被传递到Executor上去执行时，在为其分配的TaskRunner线程的run()方法内，在Task真正运行之前，我们就要

Spark的内存模型

ThreeAspects的博客

05-06

491

Spark的内存管理机制堆内和堆外内存堆内堆外接口内存空间分配静态内存管理Execution的内存管理Storage的存储管理统一内存管理新的配置项如何应对内存压力MemoryManager存储内存管理RDD的持久化机制RDD缓存的过程淘汰和落盘执行内存管理 堆内和堆外内存作为一个JVM进程，Executor的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间...

Spark内核机制解析与性能调优：内存管理与堆外内存使用

Spark内核由多个重要组件组成，包括Spark Core、Spark SQL、Spark Streaming、Spark MLlib和Spark GraphX等。每个组件都承担着不同的功能，如Spark Core负责RDD的生成与操作，Spark SQL提供SQL查询功能，Spark Stre

Spark2.2——MemoryManager

Jorocco的博客

01-15

357

占个位

spark统一内存管理UnifiedMemoryManager

weixin_42496757的博客

06-03

432

spark堆内内存模型分为两种：静态内存管理StaticMemoryManager和统一内存管理UnifiedMemoryManager。从1.6.0版本开始，Spark内存管理模型发生了变化。旧的内存管理模型由StaticMemoryManager类实现，现在称为“legacy（遗留）”。默认情况下，“Legacy”模式被禁用，这意味着在Spark 1.5.x和1.6.0上运行相同的代码会导致不同的行为。为了兼容，您可以使用spark.memory.useLegacyMode参数启用“旧”内存模型。

spark core 2.0 UnifiedMemoryManager

houzhizhen的专栏

01-17

270

object UnifiedMemoryManager { // Set aside a fixed amount of memory for non-storage, non-execution purposes. // This serves a function similar to `spark.memory.fraction`, but guarantees that we r

Spark内存管理模型（二）—— 统一内存管理（Unified Memory Manager）

瓜牛呱呱的博客

04-13

1272

Spark内存模型在1.6版本之前版本采用的是静态管理（Static Memory Manager）的方式，在1.6之后采用的是统一管理（Unified Memory Manager）的方式。且Spark的可用内存分为堆内和堆外，由于堆外的比较简单，所以本文会对统一管理方式的情况进行讲解。 Spark 1.6 之后引入了统一内存管理机制，该机制与静态内存管理的区别在于，存储内存（Stor...

大数据技术架构(组件)28——Spark：Memory Model（1）

sysocc的博客

02-10

269

经过序列化的对象，是以字节流的形式存在，占用的内存大小是可以直接计算，而对于非序列化的对象，占用的内存只能通过周期性地采样近似估算得到的，也就是说每次新增的数据项都会计算一次占用的内存大小，这种方式会有一定的误差，可能会导致某一时刻的实际内存超过预期。4、执行内存可以借用尽可能多空闲的存储内存，但是执行内存由于执行操作所涉及的复杂性，执行内存永远不会被存储区逐出，也就是说如果执行内存已经占用存储内存的大部分空间，那么缓存块就会有可能失败，在这种情况下，根据存储级别的设置，新的块会被立即逐出内存。

大数据技术架构(组件)29——Spark：Memory Model（2）

sysocc的博客

02-10

360

Spark开发者们在做性能分析的时候发现大量的CPU时间会因为等待从内存中读取数据而浪费，所以在Tungsten项目中，通过设计了更加友好的缓存算法和数据结构，让spark花费更少的时间等待cpu从内存中读取数据，提供了更多的计算时间。以上小节介绍了spark对堆的划分，根据使用目的不同，对堆进行了区域划分,并说明了spark1.6之前和之后使用的两种不同内存模型管理以及之间的区别，那么这里继续逐步分析，说到内存管理，spark是如何通过进行内存寻址，内存块是如何封装的，通过何种方式来组织管理这些内存块？

Spark内存管理-UnifiedMemoryManager和StaticMemoryManager

weixin_30750335的博客

05-22

191

　　在Spark-1.6.0中，引入了一个新的参数spark.memory.userLegacyMode（默认值为false），表示不使用Spark-1.6.0之前的内存管理机制，而是使用1.6.0中引入的动态内存分配这一概念。　　从SparkEnv.scala的源码中可以看到，该参数设置为true或false，主要影响到构造memoryManager的类的不同： val...

Spark 内存管理之UnifiedMemoryManager

pre_tender的博客

10-04

676

文章目录概述1. 创建UnifiedMemoryManager2. 实现内存操作方法概述介绍UnifiedMemoryManager源码相关的流程。 1. 创建UnifiedMemoryManager 查看类定义： [下图是 UnifiedMemoryManager.scala 中 UnifiedMemoryManager 构造参数] UnifiedMemoryManager 构造时调用工厂...

Spark 内存管理模型详解