-XX:MaxDirectMemorySize和-Dio.netty.maxDirectMemory区别

原创已于 2024-07-25 20:15:35 修改 · 1.9k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#直接内存 #MaxDirectMemory

于 2024-07-23 17:16:34 首次发布

-XX:MaxDirectMemorySize是java运行参数，用户控制java程序可以使用的最大直接内存（堆外/本地）；

-Dio.netty.maxDirectMemory是netty运行参数，用户控制netty程序可以使用的最大直接内存（堆外/本地）；

直接使用JDK代码时：

只有调用了这个java.nio.DirectByteBuffer#DirectByteBuffer(int)构造器方法进行直接内存申请的时候，才会受-XX:MaxDirectMemorySize参数限制。

直接调用Unsafe类，-XX:MaxDirectMemorySize 参数的大小限制对这种是无效的。

原因：

java.nio.DirectByteBuffer#DirectByteBuffer(int)构造器方法受到 -XX:MaxDirectMemorySize 参数的限制，是因为在方法java.nio.DirectByteBuffer方法中在申请内存前需要先
调用Bits.reserveMemory(size, cap)进行预留，如果无法预留，就会抛出OOM；
在Bits.reserveMemory(size, cap)内部不断通过java.nio.Bits#tryReserveMemory尝试
看看有没有足够的堆外内存：cap <= MAX_MEMORY - (totalCap = TOTAL_CAPACITY.get())
这里的 MAX_MEMORY就是-XX:MaxDirectMemorySize 参数值。

// A user-settable upper limit on the maximum amount of allocatable
// direct buffer memory.  This value may be changed during VM
// initialization if it is launched with "-XX:MaxDirectMemorySize=<size>".
private static volatile long MAX_MEMORY = VM.maxDirectMemory();
// -XX:MaxDirectMemorySize not given, take default
directMemory = Runtime.getRuntime().maxMemory();
// Runtime.getRuntime().maxMemory();  Returns the maximum amount of memory that the Java virtual machine will attempt to use. If there is no inherent limit then the value Long.MAX_VALUE will be returned.

堆外内存大小：

可以看到，当我们设置了-XX:MaxDirectMemorySize 参数，java.nio.DirectByteBuffer#DirectByteBuffer(int)可以使用的堆外内存最大值就是它；

当我们没有设置-XX:MaxDirectMemorySize 参数，只设置了-Xmx，那么java.nio.DirectByteBuffer#DirectByteBuffer(int)可以使用的堆外内存空间大小就是堆的最大的可使用的大小。

当我们没有设置-XX:MaxDirectMemorySize 参数，也没有设置了-Xmx ，那么此时java.nio.DirectByteBuffer#DirectByteBuffer(int)可以使用的堆外内存空间大小是Xmx的默认值

而Xmx的默认值一般是物理内存的1/4，但这可能会根据不同的JVM版本和操作系统有所变化。所以最好在生产环境中明确指定这些值。

以我自己的Windows环境为例：

java -XX:+PrintFlagsFinal -version | findstr /i "HeapSize"
   size_t ErgoHeapSizeLimit                        = 0                                         {product} {default}
   size_t HeapSizePerGCThread                      = 43620760                                  {product} {default}
   size_t InitialHeapSize                          = 536870912                                 {product} {ergonomic}
   size_t LargePageHeapSizeThreshold               = 134217728                                 {product} {default}
   size_t MaxHeapSize                              = 8539602944                                {product} {ergonomic}
   size_t MinHeapSize                              = 8388608                                   {product} {ergonomic}
    uintx NonNMethodCodeHeapSize                   = 7602480                                {pd product} {ergonomic}
    uintx NonProfiledCodeHeapSize                  = 122027880                              {pd product} {ergonomic}
    uintx ProfiledCodeHeapSize                     = 122027880                              {pd product} {ergonomic}
   size_t SoftMaxHeapSize                          = 8539602944                             {manageable} {ergonomic}
java version "17.0.8" 2023-07-18 LTS
Java(TM) SE Runtime Environment (build 17.0.8+9-LTS-211)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.8+9-LTS-211, mixed mode, sharing)

Xmx的默认值为size_t MaxHeapSize = 8539602944 byte

为8144M，可以通过打印long directMemory = Runtime.getRuntime().maxMemory();来验证

在Linux中查看Java堆大小，Xmx、Xms的默认值和当前运行时的设置值 - 哔哩哔哩

使用Netty代码时：

在Netty中，一般都是通过io.netty.buffer.AbstractByteBufAllocator#directBuffer(int, int)方法申请直接内存的，
该方法内部是调用了io.netty.buffer.AbstractByteBufAllocator#newDirectBuffer，该方法在不同的实现类中，有不同的实现。
当实现类为：io.netty.buffer.PooledByteBufAllocator：

在io.netty.buffer.PooledByteBufAllocator#newDirectBuffer中：
当PlatformDependent.hasUnsafe()为true的时候：
   1.当要使用Cleaner的时候，最终调用的是JDK中，只在   java.nio.ByteBuffer#allocateDirect这个工具方法中使用,所以受-XX:MaxDirectMemorySize参数限制；
   2.当PlatformDependent.useDirectBufferNoCleaner()（具体逻辑还要看），调用io.netty.util.internal.PlatformDependent0#allocateDirectNoCleaner申请直接内存，此时不受-XX:MaxDirectMemorySize参数限制；受netty的参数限制。
当PlatformDependent.hasUnsafe()为false的时候：
   最终调用的是JDK中，只在   java.nio.ByteBuffer#allocateDirect这个工具方法中使用,所以受-XX:MaxDirectMemorySize参数限制；

当实现类为：io.netty.buffer.UnpooledByteBufAllocator：
在io.netty.buffer.UnpooledByteBufAllocator#newDirectBuffer中：
当PlatformDependent.hasUnsafe()为true的时候：
   1.当要使用Cleaner的时候，最终调用的是JDK中，只在   java.nio.ByteBuffer#allocateDirect这个工具方法中使用,所以受-XX:MaxDirectMemorySize参数限制；
   2.当noCleaner（具体逻辑还要看），调用io.netty.util.internal.PlatformDependent0#allocateDirectNoCleaner申请直接内存，此时不受-XX:MaxDirectMemorySize参数限制；受netty的参数限制。
当PlatformDependent.hasUnsafe()为false的时候：
   最终调用的是JDK中，只在   java.nio.ByteBuffer#allocateDirect这个工具方法中使用,所以受-XX:MaxDirectMemorySize参数限制；

在Netty 4.0版本中，默认的分配器为UnpooledByteBufAllocator。而在Netty 4.1版本中，默认的分配器为PooledByteBufAllocator；

在netty4.1 以后默认noCleaner策略。