嘴说手画Spark的内存模型

最新推荐文章于 2024-08-05 11:57:33 发布
最新推荐文章于 2024-08-05 11:57:33 发布
阅读量545 收藏
点赞数
分类专栏： hadoop实战 文章标签： spark big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/epitomizelu/article/details/121788921
版权

一，内存模型

Spark的内存模型如下图所示：

在这里插入图片描述

  • Reserved Memory 固定为 300MB，不受开发者控制，是启动Spark框架本身所需要的内存空间
  • UserMemory 是用户空间，即用户定义的数据，通常是用户在代码中定义的变量，可以说，除RDD、广播、全局变量、计算过程中产生的数据之外都是用户定义的数据
  • Execution Memory 执行计算任务所需要的内存，如源数据加载占用的是这部分内存，以及在计算过程中产生的中间数据使用的内存都是这部分内存
  • Storage Memory 缓存、广播、全局变量使用这部分内存

PS:在内存不够时，Spark是报OOM还是把部分数据溢出到文件中？
在两个场景下，会有溢出到文件，一是RDD的cache，二是shuffle的中间数据。其他场景下，如果内存不足，会导致OOM错误。

二，配置项

在这里插入图片描述

  • spark.executor.memory 是绝对值，它指定了 Executor 进程的 JVM Heap 总大小。
  • spark.memory.fraction 标记 Spark 处理分布式数据集的内存总大小，这部分内存包括 Execution Memory 和 Storage Memory 两部分。如上图所示，表示第一层内存占用的大小
  • spark.memory.storageFraction 区分 Execution Memory 和 Storage Memory 的初始大小，标识第一层划分的两部分各自占用的比例
小手追梦
关注
专栏目录
solaris spark内存模型
03-19
根据提供的文件信息，本文将详细解析Solaris Spark内存模型的核心概念与原理，涵盖硬件内存模型与软件内存模型的关键知识点。 ### Solaris Spark 内存模型概述 #### 1. 引言 在共享内存的多处理器系统中，内存...
Spark 内存管理
weixin_43900672的博客
06-17 1589
Spark 内存管理 堆内内存和堆外内存 作为一个 JVM 进程，Executor 的内存管理建立在 JVM(最小为六十四分之一，最大为四分之一)的内存管理之上，此外spark还引入了堆外内存（不在JVM中的内存），在spark中是指不属于该executor的内存。 堆内内存：由 JVM 控制，由GC（垃圾回收）进行内存回收，堆内内存的大小，由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参数配置，这些配置在 spark-env.sh 配置文
Apache Spark 统一内存管理模型详解
Hadoop技术博文
04-02 713
下面代码或格式如有错乱，请访问原文 https://www.iteblog.com/archives/2342.html，或点击下面 阅读原文 即可进入。本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分
Spark内存使用管理详解
最新发布
sunxunyong的博客
08-05 282
堆外内存只包含Execution Memory和Storage Memory两块区域，maxOffHeapMemory大小就是spark.memory.offHeap.size的值，spark.memory.storageFraction默认值不变。Spark Memory（Execution Memory+Storage Memory）：Executor内存 * spark.memory.fraction。主要分为两类：On-heap Memory和Off-heap Memory。
spark内存管理
weixin_30642869的博客
09-02 90
一、内存划分 执行内存 (Execution Memory) : 主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据； 存储内存 (Storage Memory) : 主要用于存储 spark 的 cache 数据，例如RDD的缓存、unroll数据； 用户内存（User Memory）: 主要用于存储 RDD ...
Spark 内存管理 ：Spark如何高效利用有限的内存空间？
Nice的博客
12-04 1741
Spark内存的管理模式 在管理方式上，Spark 会区分堆内内存（On-heap Memory）和堆外内存（Off-heap Memory）。这里的“堆”指的是 JVM Heap，因此堆内内存实际上就是 Executor JVM 的堆内存；堆外内存指的是通过 Java Unsafe API，像 C++ 那样直接从操作系统中申请和释放内存空间。 其中，堆内内存的申请与释放统一由 JVM 代劳。堆外内存则不同，Spark 通过调用 Unsafe 的 allocateMemory 和 freeMemory 方法
基于Scala的Spark模型转换为PMML格式设计源码
04-04
本设计源码提供了一个基于Scala的Spark模型转换为PMML格式。项目包含21个文件，主要使用Scala编程语言，并包含了Java。文件类型包括9个XML配置文件、2个CRC文件、2个Scala源代码文件、1个名称文件、1个Markdown文档...
Spark学习笔记—Spark计算模型
01-07
RDD是Spark核心数据结构，它是逻辑集的实体，在集群中多台机器之间进行数据分区，通过对多台机器上RDD分区的控制，能够减少数据的重排(data Shuffling)。Spark通过partitionBy运算符对原始RDD进行数据再分配从而创建...
Spark内存管理和分配
03-11
Spark 内存管理和分配 Spark 内存管理和分配是 Spark 中的核心组件之一，它负责管理和分配 Spark 应用程序中的内存资源。Spark 的内存管理机制是通过 SparkConf 的配置来控制的，在 SparkEnv.scala 中的 349 行就...
spark内存模型
longlovefilm的博客
09-19 1801
Spark 1.6 开始使用了统一内存管理模块(UnifiedMemoryManager)，并引入了堆外内存(Off-heap memory)，1.6之前的内存管理就不进行介绍了。 spark堆内和堆外内存模型的示意图 （注意：堆外内存是依赖于worker的，而不是executor） spark堆外：（之所以叫spark堆外，是因为后续要和jvm堆外进行区别，也是大家容易弄混淆的地方），为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Off-heap）内
搞懂 Spark 系列之深入理解Spark内存管理
Faith_xzc
02-09 3912
本文详细介绍了Spark内存管理，包括Spark内存概述、内存管理机制及底层源码，欢迎交流讨论！
Spark 统一内存管理模型详解
qq_24186017的博客
09-23 330
前提 从spark3.0开始没有静态管理了，只有个统一内存管理 onHeap:java虚拟机管理的内存是堆内内存 offHeap:java虚拟机管理之外的内存，系统内存是堆外内存 堆内内存（on-heap memory） Execution 内存：主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据 Storage 内存：主要用于存储 spark 的 cache 数据，例如RDD的缓存、unroll数据； 用户内存（User Memory）：主
spark-3.0.1源码阅读之内存管理
qq_33570700的博客
02-10 443
spark-3.0.1源码阅读之内存管理1 内存管理的由来1.1 shuffle需要1.2 cpu的瓶颈2 内存管理解析2.1 管理谁的内存2.2 内存管理的顶层设计2.3 内存管理的实现3 源码参照3.1 计算区3.2 存储区4 总结   Spark的内存管理比较庞大,内部分类也比较细致,所以对这部分的理解最重要的就是要弄清楚这些庞大又细致的设计和实现的来龙去脉,它们从哪里来,要实现什么目的,是怎样实现的问题.   如果弄明白了上述这些问题,再回过头来看源码就一目了然了,甚至是只看类名或方法名就能猜到其
Spark 内存模型
chentyit的博客
03-17 4759
文章目录环境参数Executor 内存划分堆内内存（On-Heap Memory）堆外内存（Off-Heap Memory）动态调节机制Task 能申请到的内存 环境参数 spark 内存模型中会涉及到多个配置，这些配置由一些环境参数及其配置值有关，为防止后面理解混乱，现在这里列举出来，如果忘记了，可以返回来看看： spark.executor.memory ：JVM On-Heap 内存（堆内内存），在使用 spark submit 提交的时候，可以通过配置 --executor-memory 来对这个
spark内存调优
记录
08-06 222
executor内存 1、RDD存储：persist、cache操作，RDD持久化在executor中 注：UnifiedMemoryManager模式可设置spark.storage.memoryFraction调节，默认0.6 2、shuffle操作：缓冲区存储shuffle的输出和聚合的中间结果 注：UnifiedMemoryManager模式可设置spark.shuffle.mem...
最详细的Spark内存管理
大数据Spark教程
12-25 892
spark 各版本的内存参数: 一.Spark 1.6内存管理： spark 1.6之前 使用StaticMemoryManager，叫legacy模式，默认是关闭的。 spark1.6开始，使用UnifiedMemoryManager。 1.6开始的内存结构： 由上图知道，内存由三部分组成。 1.Reserved Memory ,系统保留的内存，是硬编码写死的，s...
Spark Shuffle 中 JVM 内存使用及配置内幕详情
lzf的博客
05-09 1257
引言Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变，Spark 1.6.x 以前是基于静态固定的JVM内存使用架构和运行机制，如果你不知道 Spark 到底对 JVM 是怎么使用，你怎么可以很有信心地或者是完全确定地掌握和控制数据的缓存空间呢，所以掌握Spark对JVM的内存使用内幕是至关重要的。很多人对 Spark 的印象是：它是基于内存的，而且可以缓存一大堆数据，显现...
Spark内存计算优势与MapReduce模型解析
1. **Spark计算模型**：Spark的计算模型借鉴了MapReduce，但通过内存计算优化了性能。它避免了Hadoop MapReduce频繁的磁盘交互，通过将数据保留在内存中，实现了更快的计算速度。此外，Spark通过DAG（有向无环图）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小手追梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值