第30课：彻底解密Spark 2.1.X中Shuffle中JVM内存使用及配置内幕详情

最新推荐文章于 2024-05-10 19:01:00 发布
最新推荐文章于 2024-05-10 19:01:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： Spark商业案例与性能调优实战
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/60146201
版权
本文详细探讨了Spark 2.1.x版本中Shuffle操作的JVM内存使用情况，包括Unified Memory的工作原理、Spark JVM的最小配置设定、何时可能触发用户空间OOM，以及Broadcast变量的存储位置和ShuffleMapTask的数据存储位置。
摘要由CSDN通过智能技术生成

第30课：彻底解密Spark 2.1.X中Shuffle中JVM内存使用及配置内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么？用户空间什么时候会出现OOM？Spark中的Broadcast到底是存储在什么空间的？ShuffleMapTask的使用的数据到底在什么地方？


了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
第30课：彻底解密Spark 2.1.X中Shuffle中JVM Unified Memory内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么
段智华的博客
05-07 1364
第30课：彻底解密Spark 2.1.X中Shuffle中JVM Unified Memory内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么？用户空间什么时候会出现OOM？Spark中的Broadcast到底是存储在什么空间的？ShuffleMapTask的使用的数据到底在什么地方？Spark Unified Memory的运行原理和机制
《Spark商业案例与性能调优实战100课》第31课：彻底解密Spark 2.1.X中Shuffle中内存管理源码解密：StaticMemory和UnifiedMemory
段智华的博客
03-09 876
《Spark商业案例与性能调优实战100课》第31课：彻底解密Spark 2.1.X中Shuffle中内存管理源码解密：StaticMemory和UnifiedMemory
第31课：彻底解密Spark 2.1.X中Shuffle中内存管理源码解密：StaticMemory和UnifiedMemory
段智华的博客
05-07 1443
第31课：彻底解密Spark 2.1.X中Shuffle中内存管理源码解密：StaticMemory和UnifiedMemory 大数据的事情只需关注2个平台：spark，tensorFlow（图像，深度学习）内存管理MemoryManager属于spark框架内部的， 包含2种类型：1，统一内存管理 UnifiedMemoryManager 属于框架内部private[memory]2，静态内存
spark jvm
weixin_33724659的博客
12-07 232
为什么80%的码农都做不了架构师？>>> ...
Spark---JVM调优之原理以及降低cache操作的内存占比
tianqinglei的博客
09-15 1107
1、为什么需要jvm调优？ spark的scala代码调用了很多java api。scala也是运行在java虚拟机中的。spark是运行在java虚拟机中的。 java虚拟机可能会产生什么样的问题：内存不足？？！！ 我们的RDD的缓存、task运行定义的算子函数，可能会创建很多对象。都可能会占用大量内存，没搞好的话，可能导致JVM出问题。 JVM调优（Java虚拟机）：JVM相关的参
《Spark商业案例与性能调优实战100课》第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用内幕及配置最佳实践
段智华的博客
03-02 702
《Spark商业案例与性能调优实战100课》第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用内幕及配置最佳实践
第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用及配置内幕详情：Spark到底能够缓存多少数据、Shuffle到底占用了多少数据、磁盘的数据远远比内存小却还是报告内存不足？
段智华的博客
05-05 1456
第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用及配置内幕详情：Spark到底能够缓存多少数据、Shuffle到底占用了多少数据、磁盘的数据远远比内存小却还是报告内存不足？1 JVM内存使用架构剖析2 Spark集群在1.6.x以前中JVM到底可以缓存多少数据？3 spark集群在1.6.x以前中shuffle JVM到底缓存多少数据？4 spark on yarn实际计
Spark性能调优 之 JVM调优（四）
MannerXu的博客
08-13 280
参考网站： http://spark.apache.org/docs/latest/configuration.html http://spark.apache.org/docs/latest/tuning.html 对于JVM调优，首先应该明确，(major)fullgc/minorgc，都会导致JVM的工作线程停止工作，即stopthe world。 一：降低cach...
Spark调优 5 spark jvm调优
m0_37139189的博客
09-06 183
关于jvm 堆内存的基础知识，这里就不再说了，大家可以自行百度 JVM调优的第一个点：降低cache操作的内存占比 spark中，堆内存又被划分成了两块儿，一块儿是专门用来给RDD的cache、persist操作进行RDD数据缓存用的；另外一块儿，就是我们刚才所说的，用来给spark算子函数的运行使用的，存放函数中自己创建的对象。 默认情况下，给RDD cache操作的内存占比，是0....
Spark：JVM内存管理
Jodness' Blogs
08-07 1345
目录 1、Heap 2、Minor GC & Full GC 2.1、垃圾回收流程 2.2、Spark中JVM优化原因 3、Spark内存管理 3.1、Spark 1.5.X及之前-静态内存管理 3.2、Spark1.6.X及之后-Spark Unified Memory 4、Spark(2.1.X)的JVM调优 1、Heap 由于Spark中的RDD实际上是Java...
Spark之jvm调优
勇心在馨
06-30 901
一、spark内存模型 Spark1.6之前使用的内存模型是StaticMemoryManager实现，1.6之后使用UnifiedMemoryManager实现。 spark支持用参数spark.memory.useLegacyMode来配置使用哪种内存管理模式。 Executor内存使用 （1）RDD存储 当调用RDD的persist或者cache时，RDD的分区会被存储到内存里 （2）shuffle 需要用缓存区存储shuffle的输出和聚合的中间结果 （3）用户代码 编写的代码使用
spark-调优-JVM
program哲学
09-21 832
开启日志调试 在让G1 GC跑起来之后，我们下一步就是需要根据GC log，来进一步进行性能调优。首先，我们要让JVM记录比较详细的GC日志. 对于Spark而言，我们需要在SPARK_JAVA_OPTS中设置参数使得Spark保留下我们需要用到的日志. 一般而言，我们需要设置这样一串参数： -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbos
Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常
.
05-08 7042
一般在我们开发spark程序的时候，从代码开发到上线以及后期的维护中，在整个过程中都需要涉及到调优的问题，即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化)，待开发测试完成后，提交任务时综合考量该任务所需的资源(这里涉及到资源调优)，上线后是否会出现数据倾斜问题(即倾斜调优)，以及是否出现频繁GC问题(这里涉及到GC调优)。 那么本篇通过反推的模式，即通过GC调优进行延伸扩展，比如出现GC问题是不是可能出现了倾斜？如果没有出现倾斜，是不是我们给的资源不足？如果资源...
Spark（十六）Spark Core 调优之资源调优JVM的基本架构_spark jvm 内存组成(1)
最新发布
2401_84185145的博客
05-10 666
局部变量表存放了编译期可知的各种基本数据类型（boolean、byte、char、short、int、float、long、double）、对象引用（reference类型，它不等同于对象本身，根据不同的虚拟机实现，它可能是一个指向对象起始地址的引用指针，也可能指向一个代表对象的句柄或者其他与此对象相关的位置）和returnAddress类型（指向了一条字节码指令的地址）。在实现时，既可以实现成固定大小的，也可以是可扩展的，不过当前主流的虚拟机都是按照可扩展来实现的（通过-Xmx和-Xms控制）。
spark之JVM调优一：降低cache操作的内存占比
ITBOY_ITBOX博客
06-11 311
静态内存管理机制 根据Spark静态内存管理机制，堆内存被划分为了两块，Storage和Execution。Storage主要用于缓存RDD数据和broadcast数据，Execution主要用于缓存在shuffle过程中产生的中间数据，Storage占系统内存的60%，Execution占系统内存的20%，并且两者完全独立。 在一般情况下，Storage的内存都提供给了cache操作，但是...
Spark作业性能调优——JVM参数调优
程序猿丶HLK
06-25 582
前言 Spark作业的JVM调优只是针对我们写的代码层面的优化，JVM相关的参数，通常情况下，如果你的硬件配置和基础的JVM的配置都ok的话，JVM通常不会造成太严重的性能问题，反而更多的是，在troubleshooting（故障处理）中，JVM占了很重要的地位，JVM造成线上的Spark作业的运行报错，甚至失败（比如OOM）。 为什么需要进行Spark作业的JVM优化？ Spark运行过...
Spark性能调优系列：Spark-JVM调优
Mr.Cao
12-27 776
Spark-JVM调优 Spark发生垃圾回收的原理 Spark任务运行时会在executor里面不断的创建对象，当JVM存不下对象时，会触发JVM的垃圾回收（GC => grabage Collector），垃圾回收就是把不需要的对象给清除。 如果内存中数据量比较大，那么可能会频繁的发生GC，而GC操作本身比较耗费性能，如果还频繁发生，那么对Spark作业性能造成很大的影响。此...
spark 中 jvm 内存使用及配置详情、spark报错与调优、spark内存溢出oom异常
09-03
1. Spark中JVM内存使用及配置详情： Spark中的JVM内存使用主要包括堆内存和非堆内存。堆内存用于存储对象实例，而非堆内存用于存储类信息、方法信息等。在Spark中，可以通过以下参数来配置JVM内存使用： - spark....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值