openjdk 容器中jvm参数_【 Elasticsearch 中的 'jvm.options' 参数解析】

本文探讨了Elasticsearch中jvm.options配置文件的重要性和使用,强调了不应随意更改除堆大小外的其他参数。内容包括JVM选项的解析过程、如何根据Java版本选择合适的GC、JvmOptionsParser类的作用,以及如何检查和验证Elasticsearch的JVM配置。
摘要由CSDN通过智能技术生成

在配置 Elasticsearch 时,您会找到一页有关配置JVM选项的页面(https://www.elastic.co/guide/en/elasticsearch/reference/current/jvm-options.html)。在本文中,我们将了解如何配置以及如何在实际环境中应用这个参数。

重要提示:除了更改堆大小之外,如果您对它不是非常深入的了解,请不要更改此文件中的任何其他参数,因为这些 JVM 的参数将会影响 Elasticsearch 的运行。。

配置JVM

无法在 Elasticsearch 运行时动态地对 JVM 的某些地方进行设置,例如 Java 进程应使用的最大内存,这需要在某个地方进行专门的配置,甚至要在 elasticsearch.yml 被读取之前进行配置。

这是 jvm.options 文件的来源。但是,它有点高级。不为空且不以 # 开头的每一行都被视为 JVM 选项。此外,您还可以为不同的 JAVA 版本配置不同的选项。

您可能会问,它为什么如此重要,请记住,因为 Java 生态系统也在持续发展。最近的一个例子是从即将发布的 Java 14 版本中删除了 CMS 垃圾回收器,这个commit中已经发生了这种情况(https://github.com/openjdk/jdk/commit/1fc67ab002225b1096a4d2239ab3fd115868828d)。由于它曾经是默认的 Elasticsearch 垃圾回收器,因此我们需要使用与 Java 14 之后版本不同的垃圾回收器。这是在单独的一个 PR 中添加的(https://github.com/elastic/elasticsearch/pull/49123),此后一直使用 CMS 直到 Java 13 和 G1GC 为止。

## GC configuration8-13:-XX:+UseConcMarkSweepGC8-13:-XX:CMSInitiatingOccupancyFraction=758-13:-XX:+UseCMSInitiatingOccupancyOnly14-:-XX:+UseG1GC14-:-XX:G1ReservePercent=2514-:-XX:InitiatingHeapOccupancyPercent=30

另外,随着时间的流逝,JVM 选项可能会发生改变,因此我们也要考虑到这一点。看下 Java 8 与以下所有版本之间的 GC 设置。

## JDK 8 GC logging
8:-XX:+PrintGCDetails
8:-XX:+PrintGCDateStamps
8:-XX:+PrintTenuringDistribution
8:-XX:+PrintGCApplicationStoppedTime
8:-Xloggc:${loggc}
8:-XX:+UseGCLogFileRotation
8:-XX:NumberOfGCLogFiles=32
8:-XX:GCLogFileSize=64m

# JDK 9+ GC logging
9-:-Xlog:gc*,gc+age=trace,safepoint:file=${loggc}:utctime,pid,tags:filecount=32,filesize=64m
如何实现

让我们深入去了解它的实现细节,因为我们需要了解它是如何工作的。该文件的解析是 Elasticsearch 定制的,这意味着它需要为即将运行的 JVM 提供适当的参数,然后再使用这些参数启动 JVM 本身。

要查看的主要类是 JvmOptionsParser (https://github.com/elastic/elasticsearch/blob/7.5/distribution/tools/launchers/src/main/java/org/elasticsearch/tools/launchers/JvmOptionsParser.java)。这个类仅负责解析与正在使用的 Java 版本匹配的行以及未设置 Java 版本的选项。

您可能不太清楚什么时候会被使用?每当您启动 Elasticsearch 时,就会启动一个专用的 Java 进程,该进程将解析此选项的配置文件,然后将解析的选项作为单行字符串返回。请参阅 Linux 和 Mac OS 下的 elasticsearch 启动脚本(https://github.com/elastic/elasticsearch/blob/7.5/distribution/src/bin/elasticsearch#L24)。

这也意味着,JvmOptionsParser 不会从您为 Elasticsearch 进程配置的内存量开始,而是要比这少得多。

有一个很好的理由,为什么您不应该向该 jvm.options 文件添加任何编码选项,尽管这些选项在 JVM 上具有相同的默认值。

详细查看 JvmOptionsParser,你会发现有一小段代码提到会被 ergonomicJvmOptions 这样调用

final List<String> ergonomicJvmOptions = JvmErgonomics.choose(substitutedJvmOptions);

当前的这段代码会根据配置的堆内存大小而配置 heap 的大小。有关更多信息,请参见(https://github.com/elastic/elasticsearch/blob/7.5/distribution/tools/launchers/src/main/java/org/elasticsearch/tools/launchers/JvmErgonomics.java)。

最后,还有另外一行代码如下所示

final List<String> systemJvmOptions = SystemJvmOptions.systemJvmOptions();

该 SystemJvmOptions class 包含了默认的命令行选项,在正常的默认值都被选中的列表。一个常见的示例是默认文件编码为 UTF-8 或在启动过程中始终分配整个内存,您也可以覆盖它们,但是几乎不需要。

选项解析器的最后一个功能是能够用实际值替换某些占位符。有一个 replacePlaceholders() 方法可以替换一行,请参见(https://github.com/elastic/elasticsearch/blob/7.5/distribution/tools/launchers/src/main/java/org/elasticsearch/tools/launchers/JvmOptionsParser.java#L125-L141)。

-Djava.io.tmpdir=${ES_TMPDIR}

使用当前环境变量。

在运行的实例中检查已生效的JVM选项

首先,这些选项在每次启动时都会像下面这样写入到日志文件

[2019-11-28T12:18:14,447][INFO ][o.e.n.Node               ] [rhincodon] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -Des.networkaddress.cache.ttl=60, -Des.networkaddress.cache.negative.ttl=10, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dio.netty.allocator.numDirectArenas=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Djava.io.tmpdir=/var/folders/xx/111r6kc974z_tmqc70rymxkm0000gn/T/elasticsearch-456895883997808587, -XX:+HeapDumpOnOutOfMemoryError, -XX:HeapDumpPath=data, -XX:ErrorFile=logs/hs_err_pid%p.log, -Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m, -Djava.locale.providers=COMPAT, -Dio.netty.allocator.type=unpooled, -XX:MaxDirectMemorySize=536870912, -Des.path.home=/Users/alr/Downloads/stacks/7.4.1/elasticsearch-7.4.1, -Des.path.conf=/Users/alr/Downloads/stacks/7.4.1/elasticsearch-7.4.1/config, -Des.distribution.flavor=default, -Des.distribution.type=tar, -Des.bundled_jdk=true]

其次,您还可以使用 ps 从命令行检查

$ jps50138 Jps49676 Elasticsearch
$ ps wwwp 49676
  PID   TT  STAT      TIME COMMAND49676 s000  S+     0:58.62 /Users/alr/.sdkman/candidates/java/current/bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dio.netty.allocator.numDirectArenas=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/var/folders/xx/111r6kc974z_tmqc70rymxkm0000gn/T/elasticsearch-456895883997808587 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m -Djava.locale.providers=COMPAT -Dio.netty.allocator.type=unpooled -XX:MaxDirectMemorySize=536870912 -Des.path.home=/Users/alr/Downloads/stacks/7.4.2/elasticsearch-7.4.2 -Des.path.conf=/Users/alr/Downloads/stacks/7.4.2/elasticsearch-7.4.2/config -Des.distribution.flavor=default -Des.distribution.type=tar -Des.bundled_jdk=true -cp /Users/alr/Downloads/stacks/7.4.2/elasticsearch-7.4.2/lib/* org.elasticsearch.bootstrap.Elasticsearch

当然,您也可以使用 node stats API

GET _nodes/jvm?human

将返回静态 JVM 配置,还包含一个 input_arguments 字段,像下面这样

"input_arguments": ["-Xms1g","-Xmx1g","-XX:+UseConcMarkSweepGC","-XX:CMSInitiatingOccupancyFraction=75","-XX:+UseCMSInitiatingOccupancyOnly","-Des.networkaddress.cache.ttl=60","-Des.networkaddress.cache.negative.ttl=10","-XX:+AlwaysPreTouch","-Xss1m","-Djava.awt.headless=true","-Dfile.encoding=UTF-8","-Djna.nosys=true","-XX:-OmitStackTraceInFastThrow","-Dio.netty.noUnsafe=true","-Dio.netty.noKeySetOptimization=true","-Dio.netty.recycler.maxCapacityPerThread=0","-Dio.netty.allocator.numDirectArenas=0","-Dlog4j.shutdownHookEnabled=false","-Dlog4j2.disable.jmx=true","-Djava.io.tmpdir=/var/folders/xx/111r6kc974z_tmqc70rymxkm0000gn/T/elasticsearch-456895883997808587","-XX:+HeapDumpOnOutOfMemoryError","-XX:HeapDumpPath=data","-XX:ErrorFile=logs/hs_err_pid%p.log","-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m","-Djava.locale.providers=COMPAT","-Dio.netty.allocator.type=unpooled","-XX:MaxDirectMemorySize=536870912","-Des.path.home=/Users/alr/Downloads/stacks/7.4.2/elasticsearch-7.4.2","-Des.path.conf=/Users/alr/Downloads/stacks/7.4.2/elasticsearch-7.4.2/config","-Des.distribution.flavor=default","-Des.distribution.type=tar","-Des.bundled_jdk=true"
]

请注意,该启动没有在 jvm.options 参数文件中设置任何自定义选项,这些都是 Elasticsearch 在启动时默认的所有选项。

就到这里

本文没有更多关于 JVM 的解析 了:一个小型的特定进程能够解析不同 JDK 版本的不同选项,在 Elasticsearch 进程启动时使用其输出。您还学习了如何检查自定义 JVM 选项是否被正确使用。

期待下次见面!

eb87f2e2a0288960ba1931d2cf6f6994.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值