spark性能调优(二):内存

已于 2023-04-25 16:06:36 修改
阅读量1.5k 收藏
点赞数 1
分类专栏： Spark 文章标签： spark jvm 大数据
于 2023-03-03 15:14:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nzbing/article/details/129319856
版权
本文介绍了Spark内存管理的细节，包括堆内内存和堆外内存的优缺点，以及如何根据数据模式选择合适的内存类型。重点讨论了RDD的缓存策略，强调了正确使用Cache的重要性，并提供了避免OOM的方法，如调整存储级别和监控内存使用。
摘要由CSDN通过智能技术生成

Memory

一、spark内存简介

spark 2.0后,基本上spark内存的管理就已经自动化了,内存出现问题基本上是一些数据问题。比如数据倾斜
在这里插入图片描述

  • spark.executor.memory是绝对值,指定了executor进程的JVM Heap总大小
  • spark.memory.fraction是比例值,标记spark处理分布式数据集的内存总大小
  • spark.memory.storageFraction(默认0.5)也是比例值,进一步划分Execution
    Memory和Storage Memory的大小
  • Storage Memory:用于缓存数据,当一个RDD被引用多次时,就可以考虑对其进行Cache,从而提升作业的执行效率
  • Execution Memory:用于缓存在执行shuffle过程中产生的中间数据
  • User Memory: 用户自定义的数据结构或Spark内部元数据
  • Reserved Memory:预留内存,固定300M

二、堆内内存 or 堆外内存?

在管理方式上,spark会分为堆内内存(On-Heap Memory)和堆外内存(Off-Heap Memory),上述说的是堆内内存
1、堆外内存

    了解本专栏 订阅专栏 解锁全文 超级会员免费看
    我爱夜来香A
    关注
    专栏目录
    订阅专栏
    Spark官方调优三部曲之二：内存调优
    SunnyRivers
    08-04 520
    数据序列化内存调优上一篇博客已经详细介绍了数据序列化性能调优，本文主要针对内存调优进行讲解。说白了就是减少数据对内存的占用调整内存使用时有三个考虑因素：对象使用的内存量（您可能希望整个数据集都能容纳在内存中）、访问这些对象的成本以及垃圾收集的开销（如果您的对象周转率很高）。默认情况下，Java对象访问速度很快，但很容易消耗比其字段中的“原始”数据多2-5倍的空间。每个不同的Java对象都有一个“对象头”，大约有16个字节，包含指向其类的指针等信息。
    Spark内存优化
    hongmofang10的博客
    08-08 797
    内存优化有三个方面的考虑：对象所占用的内存（或许大家都希望将所有数据都加载到内存），优化Spark的缓存以及内存回收（GC）所占用的开销。 1，对象所占用的内存 首先要估算对象所占用的内存，然后从两方面进行改进–通过改变数据结构或者采用序列化的方式。 1.1，确定内存消耗 创建一个RDD，然后将其放入缓存，最后阅读驱动程序中SparkContext的日志。日志会告诉我们每一部分所占用的内存大小，可以收集该类信息以确定RDD消耗内存的最终大小。 1.2，优化数据结构 减少内存使用的第一条路径是避免使用一些额外
    Spark内存管理及调优
    踏雪无痕
    07-24 350
    一.对象存储概述 在调整内存使用中有三个方面需要考虑：对象存储所使用的内存【可能希望在内存中存储整个数据集，以方便使用】、访问这些对象的成本及垃圾回收的开销【对象更新频繁】。 默认情况下，Java对象的访问速度很快，但是与其字段内的原始数据相比，它们很容易消耗2-5倍的空间。原因如下： 每个不同的Java对象都有一个对象头，大约16个字节，其中包含诸如指向其类的指针之类的信息。对于其中数据很少的对象【例如一个Int字段】，该对象头大小可能大于数据本身。 Java String类型相对于原始字符串数据有大约
    Spark性能优化四 内存
    qq_40905284的博客
    03-03 1281
    Spark性能优化的5中方法
    Spark内存管理及优化
    千淘万漉
    05-08 638
    https://blog.csdn.net/dongdouzin/article/details/79753155 2018年03月30日 14:50:26 Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。 如果提交的时候内存分配过大则占用资源，内存分配过小就容...
    spark内存管理及性能优化
    weixin_43690478的博客
    09-27 344
    1.spark2.x内存模型 2.Shuffle的内存占用 Shuffle Read和Shuffle Write
    spark调优之内存调优
    weixin_34279246的博客
    01-04 307
    1.spark的内存模型  （1）介绍：在执行spark的应用程序时，spark集群会启动driver和executor两种JVM进程。    - driver为主控进程，负责创建sparkContext上下文对象，提交spark作业，并将作业转化为计算任务，在各个executor进程间协调任务的调度（一个）   - executor进程，负责为工作节点执行具体的计算任务，并将结果返回给drive...
    Spark性能调优实战：资源配置与优化策略
    "尚硅谷大数据技术之Spark优化教程，涵盖了Spark性能调优的详细内容，包括常规性能调优策略和资源配置。" Spark是大数据处理领域中的一个关键组件，以其高效、易用和可扩展性而受到广泛应用。Spark优化是确保其在...
    Hadoop & Spark性能调优实战：深入hdfs、yarn和mapreduce
    二、Spark性能调优知识点概述 1. Spark性能调优 Spark是基于内存计算的大数据处理框架，其性能调优涵盖了以下几个关键点： - 执行器(Executor)配置：合理设置执行器的数量、内存大小和核心数。 - 存储级别：选择...
    spark性能调优 | 内存优化
    最新发布
    Knight
    11-16 720
    发现1.7g直接变成了270m，优化还是挺大的！我们转成rdd去跑任务，看看内存占有多大。我们也可以去excutor看内存大小。显示红色，是因为我写了while循环。在公司尽量不要写rdd(性能不好)Ds会专门使用自己的偏码进行序列化。我们还可以进行序列化(变化不大)我们需要看看rdd的缓存级别。进行优化之后33.9M。使用序列化的缓存级别。
    Spark性能调优系列：Spark-JVM调优
    Mr.Cao
    12-27 803
    Spark-JVM调优 Spark发生垃圾回收的原理 Spark任务运行时会在executor里面不断的创建对象，当JVM存不下对象时，会触发JVM的垃圾回收（GC => grabage Collector），垃圾回收就是把不需要的对象给清除。 如果内存中数据量比较大，那么可能会频繁的发生GC，而GC操作本身比较耗费性能，如果还频繁发生，那么对Spark作业性能造成很大的影响。此...
    Spark内存调优
    justlpf的专栏
    07-21 195
    1.Spark 资源调优 内存管理： Executor的内存主要分为三块： 第一块是让task执行我们自己编写的代码时使用，默认是占Executor总内存的20%； 第二块是让task通过shuffle过程拉取了上一个stage的task的输出后，进行聚合等操作时使用，默认也是占Executor总内存的20%； 第三块是让RDD持久化时使用，默认占Executor总内存的60%。 每个task以及每个executor占用的内存需要分析一下。每个task处理一个partiiton的数据，分
    Spark调优：内存调优
    不花的花和尚的博客
    10-19 623
    内存调优 JVM堆内存分为一块较大的Eden和两块较小的Survivor，每次只使用Eden和其中一块Survivor，当回收时将Eden和Survivor中还存活着的对象一次性复制到另外一块Survivor上，最后清理掉Eden和刚才用过的Survivor。也就是说当task创建出来对象会首先往Eden和survivor1中存放，survivor2是空闲的，当Eden和survivor1区域...
    Spark优化篇：动态内存管理
    lucklilili
    04-15 2680
    Spark内存管理分为静态内存管理和统一内存管理，Spark1.6之前使用的是静态内存管理，Spark1.6之后的版本默认使用的是统一内存管理。 动态内存机制图： 内存估算： Other Memory = 自定义数据结构*每个 Executor 核数 解：Other Memory基本很简单，就是根据自定义的Map、List * executor-cores = ？ Storage Memory = 广播变量 + cache/Executor 数量 设：数据100GB、num-ex..
    Spark:内存分析与优化
    标题
    01-18 1102
    概述 执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能。由于 ...
    Spark优化
    XiaoYu的博客
    08-28 707
    1、注意join的使用，如果有较小的表可考虑使用广播的方式实现mapjoin，类似MR/HIVE。广播变量是一个executor一份副本 2、注意数据倾斜的问题，这个问题在分布式shuffle操作时都有可能出现，常见几个场景： join操作空值量很多时使用随机值 cout(distinct)操作，拆分成group by 再count 对数据采样抽取出倾斜的key，单独处理，最后做union...
    Spark性能调优实战：资源分配与Standalone/Yarn模式对比
    在Spark的性能调优过程中，一个重要的步骤是优化资源分配，以最大化任务处理能力。本文主要关注Spark的两种集群运行模式：Spark Standalone和Spark Yarn。这两种模式下的资源管理策略略有不同。 首先，让我们理解几...
    spark内存调优
    记录
    08-06 222
    executor内存 1、RDD存储：persist、cache操作，RDD持久化在executor中 注：UnifiedMemoryManager模式可设置spark.storage.memoryFraction调节，默认0.6 2、shuffle操作：缓冲区存储shuffle的输出和聚合的中间结果 注：UnifiedMemoryManager模式可设置spark.shuffle.mem...
    Spark面试题
    qq_37165724的博客
    09-07 3009
    Spark面试题（一） 1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 1）本地模式   Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类   local：只启动一个executor   local[k]:启动k个executor   local[*]：启动跟cpu数目相同的 executor 2）standalone模式   分布式部署集群，自带完整的服务，资源管理和任务监控是Sp
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    我爱夜来香A

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值