查看Spark进程的JVM配置及内存使用

最新推荐文章于 2023-03-03 15:14:45 发布
最新推荐文章于 2023-03-03 15:14:45 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： Spark-RDD
 

查看Spark进程的JVM配置及内存使用

如何查看正在运行的Spark进程的JVM配置以及分代的内存使用情况，是线上运行作业常用的监控手段：


1、通过ps命令查询PID

[plain]  view plain  copy
  1. ps -ef  | grep 5661  

可以根据命令中的特殊字符来定位pid




2、使用jinfo命令查询该进程的JVM参数设置

[plain]  view plain  copy
  1. jinfo 105007  

可以得到详细的JVM配置信息

[plain]  view plain  copy
  1. Attaching to process ID 105007, please wait...  
  2. Debugger attached successfully.  
  3. Server compiler detected.  
  4. JVM version is 24.65-b04  
  5. Java System Properties:  
  6.   
  7. spark.local.dir = /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp  
  8. java.runtime.name = Java(TM) SE Runtime Environment  
  9. java.vm.version = 24.65-b04  
  10. sun.boot.library.path = /usr/java/jdk1.7.0_67-cloudera/jre/lib/amd64  
  11. java.vendor.url = http://java.oracle.com/  
  12. java.vm.vendor = Oracle Corporation  
  13. path.separator = :  
  14. file.encoding.pkg = sun.io  
  15. java.vm.name = Java HotSpot(TM) 64-Bit Server VM  
  16. sun.os.patch.level = unknown  
  17. sun.java.launcher = SUN_STANDARD  
  18. user.country = CN  
  19. user.dir = /opt/bin/spark_dev_job  
  20. java.vm.specification.name = Java Virtual Machine Specification  
  21. java.runtime.version = 1.7.0_67-b01  
  22. java.awt.graphicsenv = sun.awt.X11GraphicsEnvironment  
  23. SPARK_SUBMIT = true  
  24. os.arch = amd64  
  25. java.endorsed.dirs = /usr/java/jdk1.7.0_67-cloudera/jre/lib/endorsed  
  26. spark.executor.memory = 24g  
  27. line.separator =   
  28.   
  29. java.io.tmpdir = /tmp  
  30. java.vm.specification.vendor = Oracle Corporation  
  31. os.name = Linux  
  32. spark.driver.memory = 15g  
  33. spark.master = spark://10.130.2.220:7077  
  34. sun.jnu.encoding = UTF-8  
  35. java.library.path = :/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib  
  36. sun.nio.ch.bugLevel =   
  37. java.class.version = 51.0  
  38. java.specification.name = Java Platform API Specification  
  39. sun.management.compiler = HotSpot 64-Bit Tiered Compilers  
  40. spark.submit.deployMode = client  
  41. spark.executor.extraJavaOptions = -XX:PermSize=8m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps  
  42. os.version = 2.6.32-573.8.1.el6.x86_64  
  43. user.home = /root  
  44. user.timezone = PRC  
  45. java.awt.printerjob = sun.print.PSPrinterJob  
  46. file.encoding = UTF-8  
  47. java.specification.version = 1.7  
  48. spark.app.name = com.hexun.streaming.NewsTopNRealRankOffsetRise  
  49. spark.eventLog.enabled = true  
  50. user.name = root  
  51. java.class.path = /opt/cloudera/parcels/CDH/lib/hadoop/lib/snappy-java-1.0.4.1.jar:/opt/modules/spark-1.6.1-bin-hadoop2.6/conf/:/opt/modules/spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar:/opt/modules/spark-1.6.1-bin-hadoop2.6/lib/datanucleus-core-3.2.10.jar:/opt/modules/spark-1.6.1-bin-hadoop2.6/lib/datanucleus-api-jdo-3.2.6.jar:/opt/modules/spark-1.6.1-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar:/etc/hadoop/conf/  
  52. java.vm.specification.version = 1.7  
  53. sun.arch.data.model = 64  
  54. sun.java.command = org.apache.spark.deploy.SparkSubmit --master spark://10.130.2.220:7077 --conf spark.driver.memory=15g --conf spark.executor.extraJavaOptions=-XX:PermSize=8m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps --conf spark.ui.port=5661 --class com.hexun.streaming.NewsTopNRealRankOffsetRise --executor-memory 24g --total-executor-cores 24 --jars /opt/bin/sparkJars/kafka_2.10-0.8.2.1.jar,/opt/bin/sparkJars/spark-streaming-kafka_2.10-1.6.1.jar,/opt/bin/sparkJars/metrics-core-2.2.0.jar,/opt/bin/sparkJars/mysql-connector-java-5.1.26-bin.jar NewsTopNRealRankOffsetRise.jar  
  55. java.home = /usr/java/jdk1.7.0_67-cloudera/jre  
  56. user.language = zh  
  57. java.specification.vendor = Oracle Corporation  
  58. awt.toolkit = sun.awt.X11.XToolkit  
  59. spark.ui.port = 5661  
  60. java.vm.info = mixed mode  
  61. java.version = 1.7.0_67  
  62. java.ext.dirs = /usr/java/jdk1.7.0_67-cloudera/jre/lib/ext:/usr/java/packages/lib/ext  
  63. sun.boot.class.path = /usr/java/jdk1.7.0_67-cloudera/jre/lib/resources.jar:/usr/java/jdk1.7.0_67-cloudera/jre/lib/rt.jar:/usr/java/jdk1.7.0_67-cloudera/jre/lib/sunrsasign.jar:/usr/java/jdk1.7.0_67-cloudera/jre/lib/jsse.jar:/usr/java/jdk1.7.0_67-cloudera/jre/lib/jce.jar:/usr/java/jdk1.7.0_67-cloudera/jre/lib/charsets.jar:/usr/java/jdk1.7.0_67-cloudera/jre/lib/jfr.jar:/usr/java/jdk1.7.0_67-cloudera/jre/classes  
  64. java.vendor = Oracle Corporation  
  65. file.separator = /  
  66. spark.cores.max = 24  
  67. spark.eventLog.dir = hdfs://nameservice1/spark-log  
  68. java.vendor.url.bug = http://bugreport.sun.com/bugreport/  
  69. sun.io.unicode.encoding = UnicodeLittle  
  70. sun.cpu.endian = little  
  71. spark.jars = file:/opt/bin/sparkJars/kafka_2.10-0.8.2.1.jar,file:/opt/bin/sparkJars/spark-streaming-kafka_2.10-1.6.1.jar,file:/opt/bin/sparkJars/metrics-core-2.2.0.jar,file:/opt/bin/sparkJars/mysql-connector-java-5.1.26-bin.jar,file:/opt/bin/spark_dev_job/NewsTopNRealRankOffsetRise.jar  
  72. sun.cpu.isalist =   
  73.   
  74. VM Flags:  
  75.   
  76. -Xms15g -Xmx15g -XX:MaxPermSize=256m  


3、使用jmap查看进程中内存分代使用的情况

[plain]  view plain  copy
  1. jmap -heap 105007  

可以得到该Java进程使用内存的详细情况，包括新生代老年代内存的使用

[plain]  view plain  copy
  1. Attaching to process ID 105007, please wait...  
  2. Debugger attached successfully.  
  3. Server compiler detected.  
  4. JVM version is 24.65-b04  
  5.   
  6. using thread-local object allocation.  
  7. Parallel GC with 18 thread(s)  
  8.   
  9. Heap Configuration:  
  10.    MinHeapFreeRatio = 0  
  11.    MaxHeapFreeRatio = 100  
  12.    MaxHeapSize      = 16106127360 (15360.0MB)  
  13.    NewSize          = 1310720 (1.25MB)  
  14.    MaxNewSize       = 17592186044415 MB  
  15.    OldSize          = 5439488 (5.1875MB)  
  16.    NewRatio         = 2  
  17.    SurvivorRatio    = 8  
  18.    PermSize         = 21757952 (20.75MB)  
  19.    MaxPermSize      = 268435456 (256.0MB)  
  20.    G1HeapRegionSize = 0 (0.0MB)  
  21.   
  22. Heap Usage:  
  23. PS Young Generation  
  24. Eden Space:  
  25.    capacity = 4945084416 (4716.0MB)  
  26.    used     = 2674205152 (2550.320770263672MB)  
  27.    free     = 2270879264 (2165.679229736328MB)  
  28.    54.07804856369109% used  
  29. From Space:  
  30.    capacity = 217579520 (207.5MB)  
  31.    used     = 37486624 (35.750030517578125MB)  
  32.    free     = 180092896 (171.74996948242188MB)  
  33.    17.22893036991717% used  
  34. To Space:  
  35.    capacity = 206045184 (196.5MB)  
  36.    used     = 0 (0.0MB)  
  37.    free     = 206045184 (196.5MB)  
  38.    0.0% used  
  39. PS Old Generation  
  40.    capacity = 10737418240 (10240.0MB)  
  41.    used     = 7431666880 (7087.389831542969MB)  
  42.    free     = 3305751360 (3152.6101684570312MB)  
  43.    69.2127913236618% used  
  44. PS Perm Generation  
  45.    capacity = 268435456 (256.0MB)  
  46.    used     = 128212824 (122.27327728271484MB)  
  47.    free     = 140222632 (133.72672271728516MB)  
  48.    47.762998938560486% used  

XiaoGuang-Xu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python使用函数可以减少内存吗_如何降低 Python 的内存消耗量？
weixin_39631667的博客
11-23 587
在执行程序时，如果内存中有大量活动的对象，就可能出现内存问题，尤其是在可用内存总量有限的情况下。在本文中，我们将讨论缩小对象的方法，大幅减少Python所需的内存。图 | 《借东西的小人阿莉埃蒂》剧照作者 | intellimath译者 | 弯月，责编 | 郭芮出品 | CSDN（ID：CSDNnews）以下为译文：为了简便起见，我们以一个表示点的Python结构为例，它包括x、y、z坐标值，坐标...
VMware虚拟机中如何打开spark
m0_64950767的博客
04-15 2618
虚拟机资源： 链接：https://pan.baidu.com/s/17RUi3Rpu5q4YqJpaw4Zbbg 提取码：d88l # cd /usr/local/softwares/hadoop-2.7.2/sbin/ # ./start-all.sh # cd /usr/local/softwares/spark-2.3.2-bin-hadoop2.7/sbin/ # ./start-all.sh # cd /usr/local/softwares/spark-2....
降低代码执行中得内存消耗_Spark优化(三)----数据本地化及内存调优
weixin_39564187的博客
12-04 178
1. 数据本地化的级别：1.PROCESS_LOCAL2.NODE_LOCAL3.NO_PREF4.RACK_LOCAL5.ANY1) PROCESS_LOCALtask要计算的数据在本进程（Executor）的内存中。2) NODE_LOCAL① task所计算的数据在本节点所在的磁盘上。② task所计算的数据在本节点其他Executor进程的内存中。3) NO_PREFtask所计算的数据在...
使用 jvm-profiler 分析 spark 内存使用
m0_67401055的博客
08-27 565
通过采集 jvm 的最大使用值和设定值，可以解决下述问题。内存滥用监控应用内存使用趋势，防止数据增长导致内存不足Spark Executor 默认内存设置不合理根据应用的使用情况预计内存减少executor 默认内存减少10%，平均每个任务能释放 60G 内存自定义内存调度任务利用率提高到 70%，平均每个任务能释放 450G 内存自定义内存开发任务利用率提高到 70%，平均每个任务能释放 550G 内存。...
Spark资源配置（核数与内存）
一路风景
01-04 1万+
关于所在节点核数怎么看？ ====================================================================== # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数   # 查看物理CPU个数 cat /proc/cpuinfo| grep "p
Spark Streaming 运行日志 、 任务监控 Web UI 、Kafka 、Listener 邮件短信通知
.
02-27 6520
任务监控 一、 Spark Web UI 对于 Spark Streaming 任务的监控可以直观的通过 Spark Web UI ，该页面包括 Input Rate, Scheduling Delay、Processing Time 等，但是这种方法运维成本较高，需要人工不间断的巡视。 这其中包括接受的记录数量，每一个batch内处理的记录数，处理时间，以及总共消耗的时间。 在上...
spark 中 jvm 内存使用及配置详情、spark报错与调优、spark内存溢出oom异常
最新发布
09-03
1. Spark中JVM内存使用及配置详情： Spark中的JVM内存使用主要包括堆内存和非堆内存。堆内存用于存储对象实例，而非堆内存用于存储类信息、方法信息等。在Spark中，可以通过以下参数来配置JVM内存使用： - spark....
【Spark调优篇04】Spark之JVM调优1
08-04
本文档主要讲解了 Spark 之 JVM 调优的相关知识点，涉及到 JVM 调优的重要性、缓存操作的内存占比、统一内存管理机制、Executor 堆外内存的调节、连接等待时长的设置等内容。 JVM 调优的重要性 在 Spark 中，JVM ...
Spark作业执行之JVM参数设置
zjwcsdn123的博客
04-28 3616
spark作业提交后，在driver上运行init()方法时报错：java.lang.OutOfMemoryError: GC overhead limit exceeded报错原因是代码中使用了HashMap而且数据量很大，所以导致GC overhead，调整JVM的启动参数-Xms和-Xmx，这个参数配置Java堆的大小，因为代码运行时hashmap对象存放在堆中，故需调大改参数。配置时需要考...
spark性能调优(二):内存
nzbing的博客
03-03 1542
spark性能调优
spark调优 JVM调优
mn_kw的博客
07-17 551
我们的堆内存分为：新生代，和年老代， 年轻代又分为：Eden区，幸存一区，幸存二区， 每一次访对象的时候，都是放入eden区域，和其中的一个幸存一区中，幸存二区是不放对象的，空闲的 当eden和幸存一区放满后，就会触发 minor gc，小型垃圾回收，把不再使用的对象，从内存中清空，给后面新创建的对象腾出来地方。 清理掉了不再使用的对象后，那么也会将存活下来的对象（还要继续使用的），放入幸...
Spark Executor内存管理
aijiudu的博客
10-23 3441
我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对 Spark 进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现问题。 首先我们知道在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种...
搞懂 Spark 系列之深入理解Spark内存管理
Faith_xzc
02-09 3814
本文详细介绍了Spark内存管理，包括Spark内存概述、内存管理机制及底层源码，欢迎交流讨论！
spark调优详解
hgy0403的博客
08-19 1521
本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountCluster \ --num-executors 3 \  配置executor的数量 --driver...
Spark如何判断内存消耗
zhou12314的专栏
04-29 1756
内存都消耗在了哪个地方 1、在创建的每个java对象中，都会有一个对象头，会占用16个字节，主要是包括了一些的一些对象的元信息，比如指向它的类的指针。如果一个对象本身很小，比如就包括了一个int类型的field,那么它的对象头实际上比对象自己还要大。 2、Java的String对象，会比它内部的原始数据，要多出40个字节。因为它内部使用char数组来保存内部的字符序列的，并且还得保存诸如数组长...
spark timezone
xinxin_615的博客
10-22 2503
由于数据库中使用的时间为UTC 时间， 当使用spark sql 取出来后时间会转为当地的时间， 所以时间一直混乱不堪。为了与数据库的时间一致可以在提交spark 任务时添加以下参数 –conf “spark.driver.extraJavaOptions=-Duser.timezone=UTC” –conf “spark.executor.extraJavaOptions=-Duser.time...
（三）5：spark UI详解
weixin_43930865的博客
09-21 5883
spark UI详解 清楚的理解spark UI 的各个阶段有助于进行调优和分析定位问题 如何访问：默认ip:8088，在程序启动时也可看到日志中的UI访问地址 1：UI界面 导航栏部分主要分为7大部分 1：job级别的任务执行记录，可看到具体的executor和task执行时间 2：所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些 3 ：storage页面，我们所做的cache persist等操作，都会在这里看到，可以看出来应用目前使用了多少缓存 4： 代表environm
Spark内存资源分配——spark.executor.memory等参数的设置方法
热门推荐
qq_28658621的博客
01-19 2万+
Spark内存资源分配——spark.executor.memory等参数的设置方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值