java服务内存说明及配置详解

已于 2023-09-22 17:36:08 修改
阅读量874 收藏 6
点赞数 1
分类专栏： java 文章标签： java jvm 开发语言
于 2023-09-22 10:35:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38251332/article/details/133158397
版权

java进程内存

JVM内存分布图:
java mem

【java进程内存】=【堆外内存】 + 【jvm堆内存】
【堆外内存】= 【Metaspace】+ 【Direct Memory】+【JNI Memory】+【code_cache】+ …
堆外内存泄漏的排查在于【本地内存（Native Memory）】=【Direct Memory】+【JNI Memory】

一般堆内存比较好理解，而对于堆外内存，了解比较少。

什么是堆外内存

Non-Heap Space 翻译为非堆内存，也被称为Off-Heap(堆外内存)，大家习惯于叫这部分内存为堆外内存。查看了很多国内外文章，对于这块内存，没有很统一的定义。
较可信的是分为下面两种定义：

  1. 广义上的Non-Heap
    除开Heap以外的所有内存，包括MetaSpace、NativeMemory(JNI Memory、Direct Memory等)、Stack、Code Cache等。
    下面讲解的Non-Heap是针对于广义的定义。
  2. 狭义上的Non-Heap
    只包含Metaspace、code_cache。

注意：
监控系统里会有Non-Heap的监控，例如SkyWalking、Arthas的Non-Heap指标，都是通过JDK自带的MemoryMXBean方法获取的。
所以一般监控系统采集的Non-Heap只是Heap以外的一部分内存！还需要留意NativeMemory等等内存。
对应的代码：

@Override
public long getNonHeapMemoryMax() {
  return memoryMXBean.getNonHeapMemoryUsage().getMax();
}

@Override
public long getNonHeapMemoryUsed() {
  return memoryMXBean.getNonHeapMemoryUsage().getUsed();
}

JNI Memory内存

JNI (Java Native Interface) memory是指Java应用程序与本地代码交互时使用的内存。Java Native Interface (JNI) 是 Java 与本地（如 C 或 C++）代码进行交互的桥梁。出了问题所以需要使用C、C++的思路去解决。
在这里插入图片描述

在这里插入图片描述

ptmalloc2在高并发分配内存时，会存在较多内存碎片无法释放的情况，碎片积压到一定程度甚至会导致进程内存不够用，最终堆外内存泄漏。因此MySQL、TFS、Tair、Redis这些中间件部署时，指定jemlloc内存分配器替代ptmalloc2可更好地管理内存。

内存排查工具

java内存查看相关工具

在这里插入图片描述

实例：

  1. 确定到底是哪个进程占用内存高

ps aux --sort=-%mem

  1. 通过pmap命令可以看到最真实的JVM heap的物理内存的占有量

pmap -X 27045 | head -2; pmap -X 27045 | awk ‘NR>2’ | sort -nr -k6 | head -10

堆外内存相关工具

不同的内存区域可以使用不同的命令进行排查，同时也留意合理设置对应内存区域的参数。
在这里插入图片描述

JVM内存使用量过大问题排查思路

在这里插入图片描述
参考： 【JVM内存】系统性排查JVM内存问题的思路

JVM参数设置说明

  • -Xms4g

初始堆大小 默认物理内存的1/64(<1GB) 默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制。初始和最大最好设置成一样，避免堆内存在应用运行过程中自动扩容而影响服务稳定性

  • -Xmx4g

最大堆大小 默认物理内存的1/4(<1GB) 默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制。初始和最大最好设置成一样，避免堆内存在应用运行过程中自动扩容而影响服务稳定性
另外一般的应用，XMX可以设置为物理内存的1/2到2/3，较充分地去利用内存。
需要较多地使用Heap外内存应用，物理内存不要超过1/2，例如ElasticSearch、RocketMQ-broker、Kafka等中间件，需要大量读写文件，操作系统需要大量的Page Cache，才能有足够的缓存提高性能，所以JVM Heap不要过大，以预留给非Heap的其他内存。

  • -Xmn

年轻代大小(1.4or lator) 整个堆大小=年轻代大小 + 年老代大小 + 持久代大小. 增大年轻代后,将会减小年老代大小.此值对系统性能影响较大,Sun官方推荐配置为整个堆的3/8。尽量设置小一点

  • -Xss128k

每个线程的堆栈大小 JDK5.0以后每个线程堆栈大小为1M,以前每个线程堆栈大小为256K.更具应用的线程所需内存大小进行 调整.在相同物理内存下,减小这个值能生成更多的线程.但是操作系统对一个进程内的线程数还是有限制的,不能无限生成,经验值在3000~5000左右。
一般小的应用， 如果栈不是很深， 应该是128k够用的 大的应用建议使用256k。这个选项对性能影响比较大，需要严格的测试。

  • -XX:SurvivorRatio=8

Eden区与Survivor区的大小比值 Eden区与Survivor区的大小比值 设置为8,则两个Survivor区与一个Eden区的比值为2:8,一个Survivor区占整个年轻代的1/10

  • -XX:AlwaysPreTouch

(1) 如果未配置了-XX:AlwaysPreTouch，则实际是使用的是虚拟内存，给了一张空头支票，只在首次访问时，例如存放一批新的Java对象数据，但原来申请的内存不够用了，需要新的内存来，这时才需要分配物理内存，也就是通过缺页异常进入内核中，再由内核来分配内存，再交给JVM进程使用。一般情况，不会配置-XX:AlwaysPreTouch。
(2) 如果配置了-XX:AlwaysPreTouch，则JVM启动时，则不仅分配Xms的大小的虚拟内存，还会使用物理内存、填充整个堆。
提前申请好物理内存，减少程序运行过程中发生的物理内存分配带来的延迟，可以提升性能。例如部署elasticsearch节点时，可以指定该参数，提升性能。

  • -XX:+UseG1GC

选择使用G1垃圾收集器，G1日志解析参考：G1日志解析

  • -XX:MetaspaceSize=128M

元数据空间的扩容临界值，元数据空间的内存commited指超过256M，将会发生mixed GC和扩容

  • -XX:MaxMetaspaceSize=256M

一般大小256M足够，因为默认值无限大，如果出现频繁加载class等情况，容易打满系统内存。报错：java.lang.OutOfMemoryError: Metaspace。

  • -XX:MaxDirectMemorySize=1G

默认值等于-Xmx，这个参数直接干预sun.nio.MaxDirectMemorySize这个属性，会限制nio可用的最大直接内存为1G，最好配置直接内存，因为堆外内存一旦泄漏可能会打满整个系统内存，并且很难排查。Netty等框架会用到DirectMemory，且一般设置1G足够。报错：java.lang.OutOfMemoryError: Direct buffer memory。

  • -XX:InitialBootClassLoaderMetaspaceSize=256M

给每个classloader分配的元数据空间初始值是256M

  • -XX:+PrintGCDetails

打印GC日志

  • -XX:+PrintGCDateStamps

打印GC日志附带时间戳

  • -XX:+PrintHeapAtGC

GC之前和GC之后的堆的内存使用情况要打印出来

  • -Xloggc:/data/logs/java/gc.log

GC日志的存储路径(前缀)

  • -XX:+UseGCLogFileRotation

GC日志文件开启滚动存储
-XX:NumberOfGCLogFiles=5
GC日志文件最多保留5个

  • -XX:GCLogFileSize=30M

每个GC日志文件最大30M，超过30M，生成新的文件

  • -XX:+HeapDumpOnOutOfMemoryError

当发生内存溢出时dump堆转储文件

  • -XX:HeapDumpPath=/data/logs/java/heap_dump_%p.hprof

堆转储文件的存放地址

JVM方法区（元空间）大小设置

-XX:MetaspaceSize

设置元空间初始大小
-XX:MaxMetaspaceSize

最大可分配大小
解释

JDK8及以后：可以使用-XX:MetaspaceSize和-XX:MaxMetaspaceSize设置元空间初始大小以及最大可分配大小。
例子：设置初始大小是100M，最大可分配空间也是100M。-XX:MetaspaceSize=100m -XX:MaxMetaspaceSize=100m。
如果不指定元空间的大小，默认情况下，元空间最大的大小是系统内存的大小，元空间一直扩大，虚拟机可能会消耗完所有的可用系统内存。如果元空间内存不够用，就会报OOM。默认情况下，对应一个64位的服务端JVM来说，其默认的-XX:MetaspaceSize值为21MB，这就是初始的高水位线，一旦元空间的大小触及这个高水位线，就会触发Full GC并会卸载没有用的类，然后高水位线的值将会被重置。如果初始化的高水位线设置过低，会频繁的触发Full GC，高水位线会被多次调整。所以为了避免频繁GC以及调整高水位线，建议将-XX:MetaspaceSize设置为较高的值, -XX:MaxMetaspaceSize，一般大小256M足够，因为默认值无限大，如果出现频繁加载class等情况，容易打满系统内存，出现系统风险。

Heap Dump文件生成

heap dump进行分析工具

事先需要准备软下软件包：

  • JDK 11+（目前MAT最新版本1.13.0要求使用）
  • Memory Analyzer Tool (MAT)

MAT官方下载页面：Eclipse Memory Analyzer Open Source Project | The Eclipse Foundation

软件包准备就绪后，解压JDK和MAT到任意目录，无需其他安装操作。

使用命令可以立刻获取某个Java进程的heap dump。

使用jmap命令：

jmap -dump:live,format=b,file=/path/to/heapdump.hprof [pid]

使用jcmd命令：

jcmd [pid] GC.heap_dump /path/to/heapdump.hprof

其中为需要分析的Java进程的pid。/path/to/heapdump.hprof为生成的heap dump文件所在的路径。

在特定时间点生成

考虑到如下场景：我们需要获取Java程序出现异常的时候（例如OOM）的heap dump。这种场景下我们无法使用上面讲解的命令，Java进程出现问题的时候可能已经被系统kill掉。因此我们需要配置JVM，让他能够在特定时间点自动生成heap dump。

下面列出生成heap dump的时间点和对应的JVM参数。

在OOM的时候生成heap dump：

-XX:+HeapDumpOnOutOfMemoryError

在full GC前生成heap dump：

-XX:+HeapDumpBeforeFullGC

在full GC后生成heap dump：

-XX:+HeapDumpAfterFullGC

在按下ctrl+break的时候生成heap dump：

-XX:+HeapDumpOnCtrlBreak

注意： 指定heap dump文件生成的路径需要配置-XX:HeapDumpPath=/path/to/heapdump.hprof。

Heap Dump分析

对于不是很大的heap dump文件（不大于MAT分析机器内存的1.2倍），我们可以将heap dump文件压缩后下载到本地，使用MAT图形界面方式分析。操作方法比较直观(File -> Open Heap Dump…)，这里不再赘述。

生产环境中可能遇到特别大的heap dump。比如我们要分析一个30G的heap dump。将其在服务器上压缩之后，空间占用仍有大约10G，下载到本地耗时很长。本地开发机器一般也很少见32G内存机器，分析的时候会出现内存溢出问题。这种情况下我们需要使用MAT提供的命令行功能，在服务器上进行分析并输出分析报告。这些分析报告是静态的web页面，只有几百KB大小。需要在本地做的仅仅是将这些报告下载下来用浏览器打开，这样完美避免了本地开发环境配置不足的问题。

在服务器上使用MAT命令行分析的方法很简单。在MAT安装目录中执行：

./ParseHeapDump.sh xxx.hprof org.eclipse.mat.api:suspects org.eclipse.mat.api:overview org.eclipse.mat.api:top_components

其中xxx.hprof在实际使用的时候需要替换为hprof文件的路径。运行完毕后在hprof文件所在目录会生成一系列的index/threads文件和3个压缩文件。这3个压缩文件是我们重点关注的分析报告，分别为：

  • xxx_Leak_Suspects.zip：报告包含怀疑造成内存泄漏的地方，报告中包含了class层级图。对于OOM的场景能够很容易的定位到是哪个对象占用了大量内存不释放。
  • xxx_System_Overview.zip：包含heap dump基本信息，dump进程JVM的相关配置和线程信息等。
  • xxx_Top_Components.zip：查看占用空间最大的几个object/class/classloader/package等。报告以饼图和表格的形式展示。通过这个报告可以定位出Java程序运行时哪些对象占用内存较多，对问题排查和程序优化很有帮助。

这三个报告是分析问题的关键。我们通过报告找出内存占用过大的对象，然后结合日志和项目源代码分析程序逻辑，逐步定位出问题。

jvm配置实例

  1. demo1
export JAVA_OPTS="-Xmx2048m -Xms2048m -Xss128k -XX:SurvivorRatio=8 -XX:MetaspaceSize=256m \
-XX:MaxDirectMemorySize=1G \
-XX:+UseG1GC -XX:MaxGCPauseMillis=300 \
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/export/data/heapdump.hprof \
-XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintHeapAtGC \
-Xloggc:/export/Data/gc-%t.log -XX:+UseGCLogFileRotation -XX:GCLogFileSize=100M -XX:NumberOfGCLogFiles=20"

echo "环境变量："
echo "JAVA_OPTS：$JAVA_OPTS"
echo "JAVA_OPTS_EXT：$JAVA_OPTS_EXT"

echo "应用启动命令："
echo "java   $JAVA_OPTS $JAVA_OPTS_EXT -jar $MAIN_JAR >/dev/null 2>&1"

java ${PFINDER_AGENT:-}  $JAVA_OPTS $JAVA_OPTS_EXT -jar $MAIN_JAR >/dev/null 2>&1
PONY LEE
关注
专栏目录
java内存配置
Waiting_Mr_Liu的博客
09-15 687
1.1. 内存配置 Java的内存划分分为5个部分： 1) 虚拟机栈（VS Stack） 虚拟机栈表示Java方法执行的线程内存模型，线程每调用一个方法就会为每个方法生成一个栈帧（Stack Frame），用来存储本地变量表、操作数栈、动态链接、方法出口等信息。每个方法被调用和完成的过程，都对应一个栈帧从虚拟机栈上入栈和出栈的过程。虚拟机栈的生命周期和线程是相同的 局部变量：方法的参数，或是方法{}内部的变量。 作用域：一旦超出作用域，立即从栈的内存中消失。 2）堆（Headp） 凡是new出的东西均存放
java内存分析工具_4大JVM性能分析工具详解，及内存泄漏分析方案
weixin_36169520的博客
02-12 2978
谈到性能优化分析一般会涉及到：Java代码层面的，典型的循环嵌套等还会涉及到Java JVM：内存泄漏溢出等MySQL数据库优化：分库分表、慢查询、长事务的优化等今天主要分享JVM性能调优工具，文末有详细的JVM调优方法和步骤。什么场景需要JVM调优OutOfMemoryError，内存不足内存泄露线程死锁锁争用(Lock Contention)Java进程消耗CPU过高这些问题出现的时候常常通过...
java 的内存配置
CLA1989的博客
06-22 6149
Java的内存总结1. 内存分配的基本规则①．对象优先在新生代Eden分配，当Eden不够时，将进行一次MinorGC②．大对象之间进入老年代，比如像很长的字符串，数组等③．长期存活的对象将进入老年代，每经过一次MinorGC就增加一岁，（默认是15），可以用参数进行调整（-XX:MaxTenuringThreshold=10）④．并不是必须达到MaxTenuringThreshold才能晋升到老...
Java中的内存管理详解
最新发布
省赚客开发者博客
08-12 964
在Java中，内存管理是一个非常重要的概念，它直接影响到程序的性能和稳定性。本文将详细介绍Java中的内存管理机制，包括堆内存和栈内存的区别、垃圾回收机制以及内存泄漏的预防。总结来说，Java内存管理是一个复杂而重要的主题，通过理解和掌握堆内存和栈内存的区别、垃圾回收机制、内存泄漏的预防以及JVM内存调优，我们可以更好地优化Java应用程序的性能和稳定性。在这个示例中，我们设置了堆内存的初始大小为512MB，最大大小为1024MB，新生代的初始大小为256MB，最大大小为512MB。
java内存配置详解
john2522的专栏
03-19 4687
前段时间在一个项目的性能测试中又发生了一次OOM（Out of swap sapce），情形和以前网店版的那次差不多，比上次更奇怪的是，此次搞了几天之后啥都没调整系统就自动好了，死活没法再重现之前的OOM了！问题虽然蹊跷，但也趁此机会再次对JVM堆模型、GC垃圾算法等进行了一次系统梳理；  基本概念  堆/Heap  JVM管理的内存叫堆；在32Bit操作系统上有4G的限制，一般来说Wi
java常用内存配置知识
10-18
java常用内存配置知识，java常用内存配置知识，java常用内存配置知识，
JAVA运行内存的设置
z453588的博客
11-05 9558
JAVA运行内存的设置  一些java应用程序可以被高度的CPU密集型以及他们需要很多内存。这样的应用程序通常运行速度慢，因为内存高的要求。所以，我们可以在相关的配置文件中进行修改调整内存大小。  Xms = 设置内存初始化的大小  Xmx = 设置最大能够使用内存的大小 XX:PermSize =初始大小，将分配给JVM的启动过程 XX:MaxPermSize = 最大尺寸可以分配JVM的启...
优化Tomcat配置（内存、并发、缓存等方面）方法详解
01-20
JAVA_OPTS参数说明 server 启用jdk 的 server 版； -Xms java虚拟机初始化时的最小内存； -Xmx java虚拟机可使用的最大内存； -XX: PermSize 内存永久保留区域 -XX:MaxPermSize 内存最大永久保留区域 服务器...
详解Java字符串在内存中的存储位置
08-26
Java字符串在内存中的存储位置详解 Java字符串在内存中的存储位置是Java开发者非常关心的一个问题，因为字符串是Java中最常用的数据类型之一。今天，我们将详细介绍Java字符串在内存中的存储位置，并通过示例代码来...
java tomcat xms_配置tomcat服务器内存大小中的Xms、Xmx、PermSize、MaxPermSize 详解
weixin_39525007的博客
02-25 1621
JVM按照其存储数据的内容将所需内存分配为堆区与非堆区两个部分：所谓堆区即为通过new的方式创建的对象(类实例)所占用的内存空间, 堆是运行时数据区域；非堆区即为代码、常量、外部访问(如文件访问流所占资源)等。配置堆区的(-Xms 、-Xmx、-XX:newSize、-XX:MaxnewSize、-Xmn)配置非堆区(-XX:PermSize、-XX:MaxPermSize)一. 堆区配置参数:1...
flume设置java_Flume环境部署和配置详解及案例大全
weixin_35798118的博客
02-23 687
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume?flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(or...
Java JVM内存配置参数
下雨天@博客
06-04 1192
-Xmx1024m -Xms1025m -Xmn5120m -XXsurvivorRatio=3其基本描述如下：-Xmx:最小堆大小-Xms:初始堆大小-Xmn:新生代大小：-XXsurvivorRatio=3:代表Eden:Survivor=3 根据目前大部分Java JVM采用的算法，将堆内存分为若干个区域，一般情况将新生代分为Eden，2快survivor；然后 我们如果要求survivor...
JAVA 程序设置运行内存
weixin_33674437的博客
05-27 388
1.修改jdk设置 2.如果不行则 一般安装完eclipse之后，在安装目录下你应该可以看到有一个 eclipse.ini 文件，对了，就是在这个文件里面修改   -vmargs：说明后面是VM的参数 -Xms64M ：虚拟机占用系统的最小内存 -Xmx128M：虚拟机占用系统的最大内存 最后我把最大最小内存设置了下： 设置为： -Xms128M -Xmx512M  3.使...
jvm参数配置java内存区域
zhuguanghalo的博客
09-14 272
java内存区域 一些基本概念 　 1.方法区和堆是所有线程共享的内存区域；而java栈、本地方法栈和程序员计数器是运行时线程私有的内存区域。 2.Java堆（Heap）,是Java虚拟机所管理的内存中最大的一块。Java堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例，几乎所有的对象实例都在这里分配内存。 ...
java 内存设置
weixin_34001430的博客
11-10 79
为什么80%的码农都做不了架构师？>>> ...
怎么给java系统分配内存
牛肉胡辣汤
02-11 1303
通过适当地分配内存，可以确保Java系统具有足够的资源运行，并提高程序的性能和稳定性。JVM参数是用于配置Java虚拟机（JVM）的命令行参数或环境变量，用于控制JVM的行为和性能。命令是JDK提供的一个命令行工具，用于监控Java虚拟机的各种统计信息，包括内存使用情况。选项设置初始堆和最大堆的大小，并启动一个新的进程来运行Web应用程序。一旦设置了合适的内存分配，我们还可以通过一些工具和命令来监控Java系统的内存使用情况。Java堆中的年轻代和老年代通常是按照一定的比例划分的。
java 设置内存参数_Java虚拟机内存参数设置
weixin_36353849的博客
02-12 349
堆分配参数总结：－Xms：表示java虚拟机堆区内存初始内存分配的大小，通常为操作系统可用内存的1/64大小即可－Xmx：表示java虚拟机堆区内存可被分配的最大上限，通常为操作系统可用内存的1/4大小。但是开发过程中，通常会将 -Xms 与 -Xmx两个参数的配置相同的值，其目的是为了能够在java垃圾回收机制清理完堆区后不需要重新分隔计算堆区的大小而浪费资源。一般来讲对于堆区的内存分配只需要对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值