Spark学习之路 （十三）SparkCore的调优之资源调优JVM的基本架构

最新推荐文章于 2022-07-16 20:17:44 发布
最新推荐文章于 2022-07-16 20:17:44 发布
阅读量452 收藏
点赞数
分类专栏： Spark系统性学习专栏
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/113796964
版权
本文详细介绍了JVM的内存结构，包括堆内存、方法区、程序计数器、JVM栈和本地方法栈的作用及参数调整。探讨了SparkCore在JVM调优中的应用，帮助理解如何优化Java应用程序的性能。
摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

 

目录

一、JVM的结构图
1.1　Java内存结构
1.2　如何通过参数来控制各区域的内存大小
1.3　控制参数
1.4　JVM和系统调用之间的关系
二、JVM各区域的作用
2.1　Java堆（Heap）
2.2　方法区（Method Area）
2.3　程序计数器（Program Counter Register）
2.4　JVM栈（JVM Stacks）
2.5　本地方法栈（Native Method Stacks）
 

正文

一、JVM的结构图

1.1　Java内存结构

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
Spark学习之路 （十一）SparkCore的调优之Spark内存模型
微信搜：import_bigdata，大数据领域硬核原创作者
02-12 437
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、概述 二、堆内和堆外内存规划 2.1　堆内内存 2.2　堆外内存 2.3　内存管理接口 三、内存空间分配 3.1　静态内存管理 3.2　统一内存管理 四、存储内存管理 4.1　RDD 的持久化机制 4.2　RDD 缓存的过程 4.3　淘汰和落盘 五、 执行内存管理 5.1　多任务间内存分配 5.2　Shuffle 的内存占用 正文 一、概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块
Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2301
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
深入理解Java虚拟机 JVM基本框架
isunn的专栏
01-12 2622
JVM基本框架首先是JVM的整图结构图： 围绕JVM内存空间有三个重要的组成部分（绿色框）： 类加载器子系统（Class类文件内部结构怎样？JVM何时加载类？如何加载类？） 字节码执行子引擎 （程序运行时帧栈结构？方法调用时如何支持多态？执行引擎如何工作？) 垃圾回收器GC（如何确定对象可回收？哪些垃圾回收方法？何时进行垃圾回收？） 另外的内容还包括： Javac编译器（.java源程序如何如何编
jvm内存结构
m0_51290829的博客
04-04 203
一、jvm内存结构 程序计数器 虚拟机栈 本地方法栈 堆 方法区 二、jvm各区域的功能和作用 1.程序计数器(pc寄存器) 属于线程私有的数据区域，是一小块内存空间，主要代表当前线程所执行的字节码行号指示器。字节码解释器工作时，通过改变这个计数器的值来选取下一条需要执行的指令。 在JVM中，多线程是通过线程轮流切换来获得CPU执行时间的，因此，在任一具体时刻，一个CPU的内核只会执行一条线程中的指令，因此，为了能够使得每个线程都在线程切换后能够恢复在切换之前的程序执行位置，每个线程都需要有自己
JVM内存结构
JAVA那些事
11-02 179
内存结构   运行时数据区包括：程序计数器、虚拟机栈、本地方法栈、Java堆、方法区以及方法区中的运行时常量池 1、程序计数器：   线程私有。每个线程都有自己独立的程序计数器，用来指示下一条指令的地址。是当前线程所执行的字节码的行号指示器，如果线程正执行一个java方法，计数器记录正在执行的虚拟机字节码指令的地址，如果线程正在执行的是Native方法，则计数器值为空。 2、虚拟机栈：   即栈区...
JVM-内存结构-程序计数器、虚拟机栈、本地方法栈、堆（一）
weixin_41979002的博客
02-27 399
一、前言 1.1 什么是 JVM ？ 1）定义 Java Virtual Machine ，Java 程序的运行环境（Java 二进制字节码的运行环境）。 2）好处 一次编译，处处执行 自动的内存管理，垃圾回收机制 数组下标越界检查 3）比较 JVM、JRE、JDK 的关系如下图所示 1.2 JVM种类和结构 种类： jvm结构图： ClassLoader：Java 代码编译成二进制后，会经过类加载器，这样才能加载到 JVM 中运行。 Method Area：类是放在方法区中。 Heap：类的实例
JVM内存结构简述
hi_kong的专栏
06-03 319
JVM内存结构简述
JVM与Spark性能调优实战
建议已有一定JVM基础的读者，首先回顾JVM的基本概念，然后重点精读关于Spark性能调优的部分，以便更好地理解和应用JVM优化技巧。 书中内容可能涵盖以下主题： 1. JVM基础知识：包括类加载机制、内存模型（堆、栈、...
Hive on Spark生产调优之内存管理
击水三千里的专栏
04-28 3038
之前在Hive on Spark跑测试时，100g的数据量要跑⼗⼏个⼩时，⼀看CPU和内存的监控，发现 POWER_TEST阶段（依次执⾏30个查询）CPU只⽤了百分之⼗⼏，也就是没有把整个集群的性能利⽤起来，导致跑得很慢。因此，如何调整参数，使整个集群发挥最⼤性能显得尤为重要。
JVM内存结构与垃圾回收总结
Hopefully Sky的博客
02-21 7917
1、JVM内存模型　　JVM只不过是运行在你系统上的另一个进程而已，这一切的魔法始于一个java命令。正如任何一个操作系统进程那样，JVM也需要内存来完成它的运行时操作。记住：JVM本身是硬件的一层软件抽象，在这之上才能够运行Java程序，也才有了我们所吹嘘的平台独立性以及“一次编写，处处运行”。 　Java虚拟机在执行Java程序的过程中会把它说管理的内存划分为若干个不同的数据区域，如下面两图所示
Spark 性能调优之JVM调优
@小刘同学nice
07-07 497
对于JVM调优，首先应该明确，(major)full gc/minor gc，都会导致JVM的工作线程停止工作，即stop the world。 JVM调优一：降低cache操作的内存占比 静态内存管理机制 根据Spark静态内存管理机制，堆内存被划分为了两块，Storage和Execution。Storage主要用于缓存RDD数据和broadcast数据，Execution主要用于缓存在shuf...
spark-调优-JVM
program哲学
09-21 845
开启日志调试 在让G1 GC跑起来之后，我们下一步就是需要根据GC log，来进一步进行性能调优。首先，我们要让JVM记录比较详细的GC日志. 对于Spark而言，我们需要在SPARK_JAVA_OPTS中设置参数使得Spark保留下我们需要用到的日志. 一般而言，我们需要设置这样一串参数： -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbos
JVM 主要组成部分及其作用
Kirs0028的博客
05-11 1167
1、JVM主要组成部分 1、类加载器（ClassLoader） 2、运行时数据区（Runtime Data Area） 3、执行引擎（Execution Engine） 4、本地库接口（Native Interface） 2、组件的作用 首先，通过类加载器（ClassLoader）会把 Java 代码转换成字节码； 其次，运行时数据区（Runtime Data Area）再把字节码加载到内存中，而字节码文件只是 JVM 的一套指令集规范，并不能直接交给底层操作系统去执行； 于是，需...
java匿名对象赋初值_Java虚拟机——类加载机制
weixin_39967670的博客
11-23 176
欢迎关注：xiaosen_javashare之前的两篇文章Java虚拟机 一 内存划分和Java虚拟机 二--垃圾收集策略我们了解了虚拟机的内存分配以及垃圾回收策略，在这篇文章中我们就来简单的了解一下《深入了解Java虚拟机》中的最后一部分——类的加载机制。虚拟机类加载机制类加载时机：类从被加载到虚拟机内存开始到卸载内存为止，整个生命周期包括：加载、验证、准备、解析、初始化、使用和卸载类必须立即初...
三大java虚拟机_java虚拟机JVM的三大核心部分
weixin_39542936的博客
02-16 249
Java语言是一种编译后再经过解释器执行的过程， 解释器主要就是如何处理解释Class文件的二进制字节流。JVM主要包含三大核心部分：运行时数据区，类加载器和执行引擎。虚拟机将描述类的数据从Class文件加载到内存，并对数据进行校验、准备、解析和初始化，最终就会形成可以被虚拟机使用的Java类型，这就是一个虚拟机的类加载机制。Java中的类是动态加载的，只有在运行期间使用到该类的时候，才会将该类...
java jvm由哪3部分组成,jvm的整体结构理解，jvm整体结构理解
weixin_29041767的博客
03-13 510
jvm的整体结构理解，jvm整体结构理解对于jvm, 首先百度百科一下：1. Java技术与Java虚拟机说起Java，人们首先想到的是Java编程语言，然而事实上，Java是一种技术，它由四方面组成: Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。它们的关系如下图所示：用Java语言编写并编译的程序可以运行在这个平台上，平台的结构：在Java...
JVM组成部分
喜码拉雅
08-17 1351
JVM基本上由三部分组成： 1.类加载器：在JVM启动时以及程序运行时将需要加载的class文件加载到JVM中 2.执行引擎：负责执行class文件中包含的字节码指令，相当于物理机器上的CPU 3.运行时数据区：将划分给Java程序的内存划分成几个区来模拟物理机器上的存储、记录和调度功能...
jvm的4大组成部分和5大内存管理，还有GC的介绍
weixin_45444336的博客
10-20 193
一、jvm的组成部分 （1）类加载器（Class loader） （2）执行引擎（Execution Engine） （3）本地接口（Native interface） （4）运行数据区（Runtimedata） 二、内存管理 （1）堆 1)堆中是存放new的对象 2）堆内存有可分为3部分 1>永久存储区 2>新生区 3>老年代 （2）栈 1）栈内存中是存在方法 （3）方法区 1...
【应届面试篇】JVM的主要组成部分？及各部分常见问题详解
krystal996的博客
07-16 364
老年代空间不够分配新的内存(或永久代空间不足，但只是JDK1.7有的，这也是用元空间来取代永久代的原因，可以减少FullGC的频率，减少GC负担，提升其效率)。SoftReference实现弱引用，相比软引用来说，要更加无用一些，它拥有更短的生命周期，当JVM进行垃圾回收时，无论内存是否充足，都会回收被弱引用关联的对象。因此所有的加载请求最终都应该传送到顶层的启动类加载器中，只有当父加载器反馈自己无法完成这个加载请求（它的搜索范围中没有找到所需的类）时，子加载器才会尝试自己去加载。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值