查看Spark进程的JVM配置及内存使用

最新推荐文章于 2024-09-12 10:38:57 发布

kwu_ganymede

最新推荐文章于 2024-09-12 10:38:57 发布

阅读量1w

点赞数 3

分类专栏： Spark Linux 文章标签： Linux spark

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/51330277

版权

本文介绍了在线上环境中如何监控Spark进程的JVM配置和内存使用情况，包括通过ps命令获取PID，使用jinfo查看JVM参数，以及利用jmap分析内存分代使用状况，以获取详细的内存使用报告，特别是新生代和老年代的内存使用信息。

摘要由CSDN通过智能技术生成

如何查看正在运行的Spark进程的JVM配置以及分代的内存使用情况，是线上运行作业常用的监控手段：

1、通过ps命令查询PID

ps -ef  | grep 5661

可以根据命令中的特殊字符来定位pid

2、使用jinfo命令查询该进程的JVM参数设置

jinfo 105007

可以得到详细的JVM配置信息

Attaching to process ID 105007, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 24.65-b04
Java System Properties:

spark.local.dir = /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp
java.runtime.name = Java(TM) SE Runtime Environment
java.vm.version = 24.65-b04
sun.boot.library.path = /usr/java/jdk1.7.0_67-cloudera/jre/lib/amd64
java.vendor.url = http://java.oracle.com/
java.vm.vendor = Oracle Corporation
path.separator = :
file.encoding.pkg = sun.io
java.vm.name = Java HotSpot(TM) 64-Bit Server VM
sun.os.patch.level = unknown
sun.java.launcher = SUN_STANDARD
user.country = CN
user.dir = /opt/bin/spark_dev_job
java.vm.specificat