Openjdk 8合理使用容器的内存资源

最新推荐文章于 2024-11-13 15:12:05 发布
最新推荐文章于 2024-11-13 15:12:05 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 容器
原文链接：https://mp.weixin.qq.com/s/t5NP9rINwbj2LKG-P3zpoA
版权

前言

将Java应用容器化虽然更好地解决了可移植性问题，但也存在着一些不友好的情况，比如低版本的JDK（低于Java 8u131）并不能识别 CGroup资源限制。这将导致JVM读取的是宿主机的全部CPU和内存，一但容器使用资源超过限制则会被docker杀死。

在 kubernetes 中，我们会显示在 yaml 文件中配置CPU、内存请求和限制，我们希望容器中的JVM进程能够自动识别到 CGroup 资源限制，获取到正确的内存和CPU信息从而自行动态调整。

JVM 参数配置

以下操作皆在一台 4C 16G 服务器上进行。

01 版本低于 8u131

JDK 版本低于 8u131 版本的 JVM 不会自动识别到 CGroup 资源限制，需要手动设置初始堆大小以及最大堆大小，否则会按照宿主机的全部内存设置默认值：

-配置最大堆大小 -Xmx，默认值：内存的1/4

-配置初始堆大小 -Xms，默认值：内存的1/64

未配置JVM参数

可以看到 Max. Heap Size (Estimated): 3.48G，未能正确识别 CGroup 资源限制

$ docker run --rm -m 2GB openjdk:8u121-alpine java -XshowSettings:vm -version

VM settings:

 Max. Heap Size (Estimated): 3.48G

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM

openjdk version "1.8.0_121"

OpenJDK Runtime Environment (IcedTea 3.3.0) (Alpine 8.121.13-r0)

OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)
配置JVM参数

配置 -Xmx 和 -Xms 后即可达到我们想要的结果

$ docker run --rm -m 2GB openjdk:8u121-alpine java -XshowSettings:vm -Xmx2000m -Xms2000m -version

 
VM settings:

 Min. Heap Size: 1.95G

 Max. Heap Size: 1.95G

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM
 

openjdk version "1.8.0_121"

OpenJDK Runtime Environment (IcedTea 3.3.0) (Alpine 8.121.13-r0)

OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)
02 8u131 及以上版本

从 8u131 版本开始支持 UseCGroupMemoryLimit

ForHeap 和 MaxRAMFraction 这两个选项，用 CGroupMemory 的大小作为 JVM heap size，MAXRAMFraction 是用来控制实际可用的内存数量的，比如设置为 1 的话就是 CGroupMemoryLimit 的全部，设置为 2 的话一半，3 的话就是 1/3，以此类推

未配置JVM参数

可以看到 Max. Heap Size (Estimated): 3.48G，未能正确识别 CGroup 资源限制

$ docker run --rm -m 2GB openjdk:8u131-alpine java -XshowSettings:vm -version


VM settings:

 Max. Heap Size (Estimated): 3.48G

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM


openjdk version "1.8.0_131"

OpenJDK Runtime Environment (IcedTea 3.4.0) (Alpine 8.131.11-r2)

OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)
配置JVM参数

配置

-XX:+UnlockExperimentalVMOptions、

-XX:+UseCGroupMemoryLimitForHeap 和

-XX:MaxRAMFraction=1 后即可达到我们想要的结果

$ docker run --rm -m 2GB openjdk:8u131-alpine java -XshowSettings:vm -XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap -XX:MaxRAMFraction=1 -version

VM settings:

 Max. Heap Size (Estimated): 1.78G

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM 

openjdk version "1.8.0_131"

OpenJDK Runtime Environment (IcedTea 3.4.0) (Alpine 8.131.11-r2)

OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)
03 8u191 及以上版本

从 8u191 开始引入了 java10+ 上的 UseContainerSupport 选项，而且是默认启用的，不用设置。同时 UseCGroupMemoryLimitForHeap 这个就弃用了，不建议继续使用，同时还可以通过 -XX:InitialRAMPercentage、-XX:MaxRAMPercentage、-XX:MinRAMPercentage 这些参数更加细腻的控制 JVM 使用的内存比率。比如一些 Java 程序在运行时会调用外部进程、申请 Native Memory 等，所以即使是在容器中运行 Java 程序，也得预留一些内存给系统的。所以 -XX:MaxRAMPercentage 不能配置得太大。

未配置JVM参数

可以看到未添加任何 JVM 参数即可正确识别到 CGroup 资源限制

$ docker run --rm -m 2GB openjdk:8u191-alpine java -XshowSettings:vm -version

VM settings:

 Max. Heap Size (Estimated): 455.50M

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM

openjdk version "1.8.0_191"

OpenJDK Runtime Environment (IcedTea 3.10.0) (Alpine 8.191.12-r0)

OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)
配置JVM参数

使用 -XX:MaxRAMFraction 参数调整 Max. Heap Size 大小

$ docker run --rm -m 2GB openjdk:8u191-alpine java -XX:MaxRAMFraction=1 -XshowSettings:vm -version

VM settings:

 Max. Heap Size (Estimated): 1.78G

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM


openjdk version "1.8.0_191"

OpenJDK Runtime Environment (IcedTea 3.10.0) (Alpine 8.191.12-r0)

OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

使用 -XX:InitialRAMPercentage、-XX:MaxRAMPercentage、-XX:MinRAMPercentage 参数更加细腻的控制 JVM 使用的内存比率

$ docker run --rm -m 2GB openjdk:8u191-alpine java -XX:InitialRAMPercentage=40.0 -XX:MaxRAMPercentage=90.0 -XX:MinRAMPercentage=50.0 -XshowSettings:vm -version

VM settings:

 Max. Heap Size (Estimated): 1.60G

 Ergonomics Machine Class: server

 Using VM: OpenJDK 64-Bit Server VM

openjdk version "1.8.0_191"

OpenJDK Runtime Environment (IcedTea 3.10.0) (Alpine 8.191.12-r0)

OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

参考资料

  • http://www.51gjie.com/java/551.html

  • https://zhuanlan.zhihu.com/p/140849800

  • https://my.oschina.net/neverforget/blog/4779579

  • https://sevenyu.top/2019/04/01/java-resources-limit.html

  • https://qingmu.io/2018/12/17/How-to-securely-limit-JVM-resources-in-a-container/

java配置openjdk_OpenJDK修订的Java内存模型
cunfu6353的博客
07-09 418
java配置openjdk 传统的Java内存模型涵盖了Java语言的语义保证。 在本文中，我们将重点介绍其中一些语义，并对它们进行更深入的了解。 我们还将尝试就本文中描述的语义传达更新现有Java内存模型（JMM）的动机。 与将来对JMM的更新有关的讨论在本文中将称为JMM9。 Java内存模型 JSR 133（以下称为JMM-JSR133）中定义的现有Java内存模型指定了共享内存...
SpringCloud项目部署上云记录：Docker容器资源分配，JVM调优解决服务器资源不合理分配影响性能
m0_62503787的博客
07-16 395
根据该解决方案提示，查看nacos原始堆内存配置发现为默认的512m，对于本项目所部署的4G内存服务器符合图中显示的占比。查看后发现这个错误信息表明JVM在尝试分配内存时遇到了内存不足的问题，无法映射所需的内存空间。可见部署的四个微服务占用过多的内存(还有一个是Nacos服务)；即该组件存在内存泄露问题，而官方在最新版本修复了该问题，故直接升级即可。首先注意到名为polkitd的进程占用了大量资源，决定首先解决此处异常。查看阿里云实例状态，资源配置优化后，舒服极了！
最重要的JVM参数总结
2301_79438104的博客
11-13 1015
将新对象预留在新生代，由于 Full GC 的成本远高于 Minor GC，因此尽可能将对象分配在新生代是明智的做法，实际项目中根据 GC 日志分析新生代空间大小分配是否合理，适当通过“-Xmn”命令调节新生代大小，最大限度降低新对象直接进入老年代的情况。生产环境上，或者其他要测试 GC 问题的环境上，一定会配置上打印 GC 日志的参数，便于分析 GC 相关的问题。Java 虚拟机所管理的内存中最大的一块，Java 堆是所有线程共享的一块内存区域，在虚拟机启动时创建。在堆内存所占的比例。
jdk 内存设置jdk内存设置
11-26
jdk内存设置 jdk内存设置 jdk内存设置 jdk内存设置 jdk内存设置 jdk内存设置
怎么做JDK8的内存调优详解。
高性价比服务器就选：蓝易云
10-20 260
选择合适的垃圾收集器。设置Survivor区的大小（-XX:SurvivorRatio），用于控制新生代中Eden区和Survivor区的大小比例。以上是JDK8的内存调优详解，根据实际应用场景和性能需求，合理设置JVM参数和调整垃圾收集器，可以使应用程序运行更加高效和稳定。通过设置新生代（-XX:NewRatio）和老年代（-XX:SurvivorRatio）的比例，优化垃圾回收性能。可以通过设置垃圾回收的触发时间（-XX:MaxGCPauseMillis），限制垃圾回收的最大停顿时间。
频繁 GC 问题排查以及UseContainerSupport与MaxRAMPercentage的正确使用
weixin_38899094的博客
08-28 1919
使用姿势的不正确 ，InitialRAMPercentageme没设置 导致走了默认的 1.5的比例，导致jvm启动后 分配的实际jvm内存极小，导致系统频繁触发fullGC ，所以赶紧调整使用姿势 ，将MaxRAMPercentage 和 InitialRAMPercentagez设置一样即可，另外如果你的整个物理服务器(或容器)内存大小超过250 MB，那么你不必配置“-XX: MinRAMPercentage”，只需配置“-XX: MaxRAMPercentage”就足够了。为何如此小气的分配。
JVM调优参数之UseContainerSupport
WannaRunning的博客
05-12 5167
基于Docker等容器方式运行Java应用时,容器的资源管理使用了操作系统cgroup机制,但是JVM无法感知cgroup。 也就是说在没有UseContainerSupport参数支持的JDK版本中,JVM是无法感知容器环境存在,对容器资源的限制比如内存或者cpu等都无法生效。在这种情况下，如果JVM申请的内存大于容器的内存,容器就会把当前进程kill掉,所以必须要让JVM感知到能使用的最大内存,这样可以及时进行GC。 UseContainerSupport作用 为了支持JVM感知cgroup..
k8s中java内存泄漏,Kubernetes 案例分享：如何避免 JVM 应用内存耗尽
weixin_30891153的博客
03-16 2597
原标题：Kubernetes 案例分享：如何避免 JVM 应用内存耗尽编译：ImportNew/唐尤华srvaroa.github.io/jvm/kubernetes/memory/docker/oomkiller/2019/05/29/k8s-and-java.html我最近一直在帮助团队把工作负载从本地或者EC2迁移到Kubernetes。这是一个不错Kubernetes新手训练营。在本文中，...
怎么定位K8s容器中运行的JAVA程序OOM异常（一）
计算科学
06-26 2763
一.前置环境 1. 运行在k8s集群上的Pod服务（Java程序） 2. MAT分析工具 二.利用Jmap工具导出Heap Dump 1.执行命令进入pod容器 kubectl exec -itn {namespace} {pod}} sh 2.利用jmap生成java程序的Dump文件 jps | grep {jar} ./jmap -dump:live,format=b,file=haep.hprof 8 3.利用k8s命令导出Dump文件到本地 kubectl cp -n
内存占用估算方法
程序猿进阶
10-01 2101
通过掌握每种数据类型的大小，就可以更准确地预测对象和数据的内存消耗。
【JVM深度剖析】：专家级Windows上安装OpenJDK8注意事项，性能调优全攻略
![【JVM深度剖析】：专家级Windows上安装...首先，文章介绍了JVM的理论基础和架构，包括其工作原理、内存模型和性能监控工具的使用。随后，深入分析了性能调优策略，涉及JIT编译器优化、堆内存管理以及线程与同步
Java 8 终于支持 Docker！
sinat_29705095的博客
07-21 546
Java 8曾经与Docker无法很好地兼容性，现在问题已消失。 请注意：我在本文中使用采用GNU GPL v2许可证的OpenJDK官方docker映像。在Oracle Java SE中，这里描述的docker支持功能在更新191中引入。Oracle在2019年4月更改了Java 8更新的许可证，自Java SE 8 Update 211以来商业使用不再免费。 你是否遇到过在docker中运行的...
openjdk 容器中jvm参数_【 Elasticsearch 中的 'jvm.options' 参数解析】
weixin_33489161的博客
01-20 1149
在配置 Elasticsearch 时，您会找到一页有关配置JVM选项的页面(https://www.elastic.co/guide/en/elasticsearch/reference/current/jvm-options.html)。在本文中，我们将了解如何配置以及如何在实际环境中应用这个参数。重要提示：除了更改堆大小之外，如果您对它不是非常深入的了解，请不要更改此文件中的任何其...
java 1f8b0800,spark docker java kubernetes 获取cpu内核/线程数问题
weixin_34902502的博客
03-10 528
升级服务从spark2.3.0-hadoop2.8 至 spark2.4.0 hadoop3.0javascript一往后致使spark streaming kafka消费数据积压html服务不是传统的部署在yarn上，而是布在kubernetes(1.13.2)上 https://spark.apache.org/docs/latest/running-on-kubernetes.htmljav...
JDK11-JVM参数配置详解
sebeefe的博客
08-18 2619
如果开启类指针压缩，+UseCompressedClassPointers，根据上面的条件，结果跟只开启UseCompressedOops一样，会在内存中消耗20个字节，o指针占4个字节，Object对象占16个字节。通过 -XX:ReservedCodeCacheSize参数可以指定Code Cache的初始化大小，这个默认值在不同的JDK版本也不同，目前我这边调试的是OpenJDK11，默认大小是240M，这个已经够用了。SecureRandom在java各种组件中使用广泛，可以可靠的产生随机数。...
JDK8 JVM参数与实际环境中的优化配置实践
热门推荐
纸上得来终觉浅，绝知此事要躬行
04-05 1万+
如何配置我们的JVM呢，首先我们需要知道JVM的参数有哪些，然后根据这些参数的意义去分析自己的程序的JVM需要的配置。可以事先做一些尝试，再逐步调优，这个调优也是一个过程，没有足够的经验而做到一步到位是一件很困难的事情。事情是一点点做的，不能因为着急就胡乱地配置，踏踏实实戒骄戒躁。 JVM在Java体系中的地位 JVM是Java底层核心要素，可以说Java生态的东西都是运行在JVM里...
OpenJDK 11 JVM日志相关参数解析与使用
JKX_geek的博客
03-16 1914
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 OpenJDK 11 是在 OpenJDK 8 之后的第一个长期支持版本，这一版本在JVM日志配置有了很大改动，主要是规范化，统一化了。在 OpenJDK 8 中，日志配置有很多状态位，让人摸不着头脑，并且比较难以维护与进一步迭代。在 OpenJDK 11终于将JVM日志相关的配置规范起来，统一配置。这篇文章会对于这...
ubuntu Java环境配置
dabenxiong的专栏
03-03 761
看了很多文章，终于安装成功了，最后觉得还是把自己的安装经历写下了，方便若干年后查阅：       1. 首先去oracle，http://www.oracle.com/technetwork/java/javase/downloads/index.html 然后找到 jdk下载的地方，根据自己linux的系统位数，下载相应的jdk，一般有两种，一个为rpm包，另一个为.gz或者格式为别的的压缩包
堆内存居高不下，JDK8自适应作怪
chujuejie9271的博客
01-29 624
堆内存居高不下，JDK8自适应作怪 背景 收到线上系统报警，堆内存超过98%，长时间居高不下。 内存泄漏检查 dump文件下载下来，使用visualVM分析了一波，发现有int[]和char[]，占用了堆内存50%以上的空间，但是Retained Size 很小，意思就是执行一波FULL ...
java 服务器内存使用情况
最新发布
02-28
### 如何检查和优化 Java 服务器内存使用情况 #### 使用工具监控进程 为了识别具体的Java应用程序及其内存消耗，可以利用`top`或更高级的`htop`命令来实时查看各个进程的状态。这些工具能够展示每个进程中CPU与RAM的具体占用量，从而帮助定位到最耗费资源的应用实例[^2]。 ```bash top -b -n 1 | grep java ``` 此命令会输出一次性的`top`数据并过滤出所有的Java相关条目，方便快速浏览正在运行的服务以及它们各自的内存开销。 #### 分析特定Java应用的堆栈信息 当已经锁定目标进程后，进一步深入探究其内部运作机制变得至关重要。通过附加JVM自带的诊断工具如jstat、jmap等至该PID上可以获得更加详细的统计资料： - `jstat -gcutil <pid>` 显示垃圾回收概要。 - `jmap -heap <pid>` 展现当前堆分配状况。 上述操作有助于理解程序是否存在泄漏风险或是不合理的对象创建行为。 #### 调整Tomcat配置实现性能提升 针对部署于Apache Tomcat容器内的Web应用程序而言，在调整虚拟机选项方面有着较大的灵活性。编辑位于CATALINA_HOME/bin目录下的catalina.sh文件并向其中加入合适的JAVA_OPTS参数可完成此项工作[^4]: ```sh export JAVA_OPTS="-Xms512m -Xmx2g" ``` 这里设置了初始最小堆大小为512MB而最大可达2GB；当然实际数值需依据业务需求灵活设定。 #### 设置适当的环境变量 确保在执行任何Java应用程序之前正确指定了所需的JDK路径。特别是在多版本共存的情况下，应该优先考虑采用非交互式的Shell环境中定义好的$JAVA_HOME指向官方推荐使用的发行版（例如华为JDK 8/OpenJDK 8/11），以此保障兼容性和稳定性[^3]。 #### 定期审查日志记录 最后但同样重要的一点是要养成良好的习惯——定期查阅由应用程序产生的错误报告和其他形式的日志文档。从中往往能发现潜在的问题线索，并据此采取预防措施避免未来可能出现的风险。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值