Spark-统一内存模型

最新推荐文章于 2024-06-13 14:29:56 发布
最新推荐文章于 2024-06-13 14:29:56 发布
阅读量326 收藏
点赞数
分类专栏： Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40382400/article/details/132045074
版权

总结：

Spark的内存模型分为4部分，分别是存储内存，计算内存，其他内存，预留内存；

其中存储内存和计算内存可以动态占用，当己方内存不足对方空余则可占用对方的内存，计算内存被存储内存占用后可强制收回，存储内存被计算内存占用后不可强制收回，只能等待释放。

统一内存管理的堆内内存结构如下图

 

 统一内存管理的动态占用机制如下图

 

青云游子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-SQL详解
别下完这场雪
06-09 1343
前言 在没有sparkSql之前，进行数据分析一般通过MR，SQL 但是MR运行慢，操作较为复杂，即效率比较低。 SQL运行速度较快，操作也方便。但是面向的是关系型数据库，并不适合大数据开发 模仿SQL–>HIVE HIVE是将HIVE SQL 转换成MapReduce然后提交到集群上执行，虽然简化了Mapredece程序复杂性，但是由于MapReduce计算模型自身限制，速度并不是很快 spark模仿hive，自己形成了SparkSQL，将Spark SQL 转化为RDD，然后提交到集群执行，执行
SparkUnifiedMemoryManager内存管理模型分析
02-25
尽量提高Spark计算的通用性，降低内存调优难度，减少OOM导致的失败问题，从Spark1.6版本开始，新增了UnifiedMemoryManager（统一内存管理）内存管理模型的实现。UnifiedMemoryManager依赖的一些组件类及其关
Spark 统一内存管理模型详解
热门推荐
Deegue
09-17 1万+
堆内内存(On-heap Memory) 默认情况下，Spark 仅仅使用了堆内内存。Executor 端的堆内内存区域大致可以分为以下四大块： Execution 内存：主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据 Storage 内存：主要用于存储 spark 的 cache 数据，例如RDD的缓存、unroll数据； 用户内存（Us...
Spark 内存模型
chentyit的博客
03-17 4594
文章目录环境参数Executor 内存划分堆内内存（On-Heap Memory）堆外内存（Off-Heap Memory）动态调节机制Task 能申请到的内存 环境参数 spark 内存模型中会涉及到多个配置，这些配置由一些环境参数及其配置值有关，为防止后面理解混乱，现在这里列举出来，如果忘记了，可以返回来看看： spark.executor.memory ：JVM On-Heap 内存（堆内内存），在使用 spark submit 提交的时候，可以通过配置 --executor-memory 来对这个
Spark系列之Spark的内存模型
luoyepiaoxue2014的博客
11-29 486
Spark系列之Spark的内存模型
Spark中内存模型管理
数据工匠记
07-18 4762
一、概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD...
spark内存模型
longlovefilm的博客
09-19 1723
Spark 1.6 开始使用了统一内存管理模块(UnifiedMemoryManager)，并引入了堆外内存(Off-heap memory)，1.6之前的内存管理就不进行介绍了。 spark堆内和堆外内存模型的示意图 （注意：堆外内存是依赖于worker的，而不是executor） spark堆外：（之所以叫spark堆外，是因为后续要和jvm堆外进行区别，也是大家容易弄混淆的地方），为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Off-heap）内
Apache Spark 统一内存管理模型详解
三丰的专栏
09-18 415
本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析，如对之前的静态内存管理感兴趣，请参阅网上其他文章。 我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常...
Apache Spark统一内存管理模型详解
METON的博客
08-30 298
本文将对Spark的内存管理模型进行分析，下面的分析全部是基于ApacheSpark2.x进行的。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析，如对之前的静态内存管理感兴趣，请参阅网上其他文章。我们都知道Spark能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对Spark进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现...
Spark(二): spark-submit命令详解
SeaSky_Steven的博客
01-03 2604
spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器...
spark介绍-蘑菇街.pdf
08-21
Spark 的计算模型基于内存的调度和运算模型，提供了高效的计算能力和灵活的编程模型。Spark 的编程模型可以分为两种类型，一种是批处理型应用，另一种是交互式数据挖掘型应用。Spark 的编程接口支持多种语言，包括 ...
Spark综合题题库.docx
04-27
3. 业务推荐系统：Spark 将业务推荐系统的小时和天级别的模型训练，转变为分钟级别的模型训练。 4. 定制广告系统：借助 Spark 快速迭代的优势，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时...
大数据Spark企业级实战版.pdf
02-27
Spark基于RDD成功地构建起了大数据处理的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等大数据计算模型统一到一个技术堆栈中，开发者使用一致的API操作Spark中的所有功能；...
【大数据】Spark使用大全:下载安装、RDD操作、JAVA编程、SQL
Joker_ZJN的博客
06-13 494
一文详解Spark的使用
Spark作业运行异常慢的问题定位和分析思路
PAIN的博客
06-09 390
如果直方图中显示的Task Duration有可判断为数据倾斜的情况（个别Task慢，且输入或输出数据远大于其他Task），可能是数据倾斜导致的。Spill指标比较高，可能是内存压力大，spill至磁盘导致计算变慢，这种情况需要总结和评估是否加内存或者接受稍慢的情况。资源的差异，可以查看对应的 stage 的 executor 统计或者队列资源的监控。如果并不符合数据倾斜的特征，但是某个节点的Task执行都慢，可能是机器负载异常导致。首先对比两次执行的 Job 或者 Stage 是否有明显的运行时间区别。
计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-13 829
计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
Spark参数配置不合理的情况
PAIN的博客
06-09 850
通常 executor 堆外内存在 executor.cores=1 的时候，1g 足够了，正常来说最大值不超过 2g；，默认的 buffer 会在 64k 到 64m 动态伸缩，没有特殊需要不需要设置，如果数据比较大，设置。算法作业绝大多数是 rdd 操作，合理设置并行度，事半功倍，后面会专门介绍怎么优化自己的并行度设置。我们作业中大量的设置 driver 和 executor 的堆外内存为 4g，造成资源浪费。注意：如果有 c++ 库这种计算，executor 堆外内存可以保持原有配置。
计算机毕业设计师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-13 408
计算机毕业设计师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
spark-submit提交spark-examples位置
最新发布
06-14
在使用`spark-submit`提交`spark-examples`中的示例程序时，你需要确保你的Spark安装目录结构正确，并且`spark-examples`目录位于`spark-submit`能够找到的位置。 通常情况下，`spark-examples`位于Spark的安装路径...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值