【Spark】Spark调优 JVM调优

最新推荐文章于 2024-08-16 17:26:15 发布
最新推荐文章于 2024-08-16 17:26:15 发布
阅读量3.6k 收藏 10
点赞数 2
分类专栏： 大数据-spark 文章标签： spark jvm 调优
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/80468772
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
本文探讨了Spark中JVM调优的重要性，尤其是针对垃圾回收的优化。介绍了为何要进行JVM调优，当Eden区大小不合适时可能导致的频繁full GC问题。提出基础调优思路，如使用高效数据结构，选择合适的序列化库，以及调整Eden区域大小。还提及了大数据环境下JVM进程的启动和CDH版本Spark的默认优化设置。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1. 为什么要进行JVM调优？为什么要进行垃圾回收？

这里写图片描述

Spark是由Scala写的，而Java和Scala都是运行在JVM上的。而一个executor就是一个JVM进程。

我们会把executor分成两份，老年代和新生代，比例可能会不一样。新生代会分成三份。

这里写图片描述

Spark作业开始运行，会不断的产生对象，对象会首先进入Eden区，然后如果Eden区存储满了,对象就会进入survivor1区，如果Eden和survivor1区都满了，就会发生minor GC，h会在新生代里面发生垃圾回收，，把不需要的对象回收。假设4,7,8都是无用的对象会被清除，而5,6是没被GC掉的，就

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2222
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
spark调优
硅谷纵横
05-09 3303
目录 1、资源调优 1.1、分配更多的资源 1.2、提高并行度 2、开发调优 2.1、RDD的重用和持久化 2.2、广播变量的使用 2.3、尽量避免使用shuffle类算子 2.4、 使用高性能的算子 2.5、使用Kryo优化序列化性能 2.6、使用fastutil优化数据格式 2.7、调节数据本地化等待时长 3、基于spark内存模型调优 3.1、spark中executor内存划分 3.2、 spark的内存模型 3.3、 任务提交脚本参考 4、shuffle相关参数..
Spark调优之JVM调优
Lu_Xiao_Yue的博客
11-16 379
** JVM调优 ** 堆内存存放我们创建的一些对象，有老年代和年轻代。理想情况下，老年代都是放一些生命周期很长的对象，数量应该是很少的，比如数据库连接池。我们在spark task执行算子函数（我们自己写的），可能会创建很多对象，这些对象都是要放入JVM年轻代中的。 每一次放对象的时候，都是放入eden区域，和其中一个survivor区域。另外一个survivor区域是空闲的。 当eden区域和...
【JVM】JVM 实战调优指南赋案例（保姆篇）
最新发布
A的博客
08-16 1228
即时编译器（JIT）将字节码编译为机器码，以提高运行时性能。热点编译（HotSpot Compilation）：编译热点代码，提高执行效率。逃逸分析（Escape Analysis）：优化对象的内存分配和回收。
Spark开发性能调优
硅谷纵横
04-12 271
Spark开发性能调优标签（空格分隔）： Spark–Write By Vin1. 分配资源调优Spark性能调优的王道就是分配资源,即增加和分配更多的资源对性能速度的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升是成正比的,当公司资源有限,能分配的资源达到顶峰之后,那么才去考虑做其他的调优如何分配及分配哪些资源在生产环境中,提交spark作业时,使用spark-submit sh...
Spark之jvm调优
勇心在馨
06-30 901
一、spark内存模型 Spark1.6之前使用的内存模型是StaticMemoryManager实现，1.6之后使用UnifiedMemoryManager实现。 spark支持用参数spark.memory.useLegacyMode来配置使用哪种内存管理模式。 Executor内存使用 （1）RDD存储 当调用RDD的persist或者cache时，RDD的分区会被存储到内存里 （2）shuffle 需要用缓存区存储shuffle的输出和聚合的中间结果 （3）用户代码 编写的代码使用
Spark调优 5 spark jvm调优
m0_37139189的博客
09-06 183
关于jvm 堆内存的基础知识，这里就不再说了，大家可以自行百度 JVM调优的第一个点：降低cache操作的内存占比 spark中，堆内存又被划分成了两块儿，一块儿是专门用来给RDD的cache、persist操作进行RDD数据缓存用的；另外一块儿，就是我们刚才所说的，用来给spark算子函数的运行使用的，存放函数中自己创建的对象。 默认情况下，给RDD cache操作的内存占比，是0....
【Spark调优篇04】Spark之JVM调优1
08-04
Spark调优篇04Spark之JVM调优1 本文档主要讲解了 Spark 之 JVM 调优的相关知识点，涉及到 JVM 调优的重要性、缓存操作的内存占比、统一内存管理机制、Executor 堆外内存的调节、连接等待时长的设置等内容。 JVM ...
Spark性能调优系列：Spark-JVM调优
Mr.Cao
12-27 778
Spark-JVM调优 Spark发生垃圾回收的原理 Spark任务运行时会在executor里面不断的创建对象，当JVM存不下对象时，会触发JVM的垃圾回收（GC => grabage Collector），垃圾回收就是把不需要的对象给清除。 如果内存中数据量比较大，那么可能会频繁的发生GC，而GC操作本身比较耗费性能，如果还频繁发生，那么对Spark作业性能造成很大的影响。此...
【Spark调优篇03】Spark之Shuffle调优1
08-04
然而，不当的Shuffle管理可能导致性能瓶颈，因此，Shuffle调优是提高Spark应用程序性能的关键。本文将详细讨论五个主要的Shuffle调优策略。 **调优一：调节map端缓冲区大小** 默认情况下，Spark的map端缓冲区大小...
spark 优化
12-01
本文26000字，囊括spark调优所有方面，所有方式，包括，资源分配，算子调优，JVM，Shuffle，troubleshooting，数据倾斜等等，以上大数据spark面试必问
性能调优-JVM调优
u013939918的博客
03-09 379
性能调优 JVM调优原理概述 1、常规性能调优：分配资源、并行度。。。等 2、JVM调优（Java虚拟机）：JVM相关的参数，通常情况下，如果你的硬件配置、基础的JVM的配置， 都可以的话，JVM通常不会造成太严重的性能问题；反而更多的是，在troubleshooting中， JVM占了很重要的地位；JVM造成线上的spark作业的运行报错，甚至失败（比如OOM）。 3
spark性能调优--jvm调优
keyuquan的博客
05-22 906
一.问题切入 调用spark 程序的时候，在获取数据库连接的时候总是报  内存溢出 错误 （在ideal上运行的时候设置jvm参数 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024M，不会报错）   二.jvm参数 和 saprk 参数 和内存四区 解读 1.内存四区    1、栈区（stack）：由编译器自动分配释放
Spark的JVM调优
IT_但丁的博客
04-12 173
文章目录一、现象内存不充足的时候，出现的问题二、降低cache 操作的内存占比三、调节executor 堆外内存与连接等待时长（1）调节executor 堆外内存（2）调节连接等待时长 一、现象 堆内存存放我们创建的一些对象，有老年代和年轻代。理想情况下，老年代都是放一些生命周期很长的对象，数量应该是很少的，比如数据库连接池。我们在spark task 执行算子函数（我们自己写的），可能会创建很多...
spark调优详解
hgy0403的博客
08-19 1529
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \  配置executor的数量 --driver...
Spark性能优化
Bryce_Loski的博客
10-28 1235
Spark性能优化 最新文章访问我的博客：http://bryce-loski.github.io/ 在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。 本文将从常见的几个方面与实现spark的优化 常规性能调优 1.1 常规性能调优一：最优资源配置   Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。    资源的分配在使用脚本提交Spark任务时进行指
spark调优 JVM调优
mn_kw的博客
07-17 551
我们的堆内存分为：新生代，和年老代， 年轻代又分为：Eden区，幸存一区，幸存二区， 每一次访对象的时候，都是放入eden区域，和其中的一个幸存一区中，幸存二区是不放对象的，空闲的 当eden和幸存一区放满后，就会触发 minor gc，小型垃圾回收，把不再使用的对象，从内存中清空，给后面新创建的对象腾出来地方。 清理掉了不再使用的对象后，那么也会将存活下来的对象（还要继续使用的），放入幸...
Spark性能优化 (4) | JVM 调优
不温卜火
09-08 5986
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   本片博文为大家带来的是JVM 调优。 目录1. 降低cache.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值