Java中的内存从广义上可以划分为两个部分,一部分是受JVM管理的堆内存,另一部分则是不受JVM管理的堆外内存,也称为直接内存。直接内存由操作系统来管理,这部分内存的应用可以减少垃圾收集对应用程序的影响。本贴将会重点讲解直接内存的优缺点、如何设置直接内存的大小,以及直接内存的内存溢出现象。
1、直接内存概述
直接内存不是虚拟机运行时数据区的一部分,也不是Java虚拟机规范中定义的内存区域。直接内存是在Java堆外的、直接向操作系统申请的内存区间。直接内存来源于NIO(Non-Blocking IO),可以通过ByteBuffer类操作。ByteBuffer类调用allocateDirect()方法可以申请直接内存,方法内部创建了一个DirectByteBuffer对象,DirectByteBuffer对象存储直接内存的起始地址和大小,据此就可以操作直接内存。直接内存和堆内存之间的关系如下图所示:
如下代码清单展示了直接内存的占用和释放:
直接分配后的本地内存空间如图下图所示:
释放内存后的本地内存空间如图下图所示:
内存释放后的空间为17424KB,几乎释放了1GB的内存。
通常,访问直接内存的速度会优于Java堆,读写性能更高。因此出于性能考虑,读写频繁的场合可能会考虑使用直接内存。Java的NIO库允许Java程序使用直接内存,用于数据缓冲区。
通过前面的案例我们可以把Java进程占用的内存理解为两部分,分别是JVM内存和直接内存。前面我们讲解方法区的时候,不同版本JDK中方法区的实现是不一样的,JDK 7使用永久代实现方法区,永久代中的数据还是使用JVM内存存储数据。JDK 8使用元空间实现方法区,元空间中的数据放在了本地内存当中,直接内存和元空间一样都属于堆外内存,如下图所示:
2、直接内存的优势
文件读写必然涉及磁盘的读写,但是Java本身不具备磁盘读写的能力,因此借助操作系统提供的方法,在Java中表现出来的形式就是Java中的本地方法接口调用本地方法库。普通IO读取一份物理磁盘的文件到内存中,需要下面两步:
- (1)把磁盘文件中的数据读取到系统内存中。
- (2)把系统内存中的数据读取到JVM堆内存中。
如下图所示:
为了使得数据可以在系统内存和JVM堆内存之间相互复制,需要在系统内存和JVM堆内存都复制一份磁盘文件。这样做不仅浪费空间,而且传输效率低下。
当使用NIO时,如下图所示:
操作系统划出一块直接缓冲区可以被Java代码直接访问。这样当读取文件的时候步骤如下:
- (1)物理磁盘读取文件到直接内存。
- (2)JVM通过NIO库直接访问数据。
以上步骤便省略了系统内存和JVM内存直接互相复制的过程,不仅节省了内存空间,也提高了数据传输效率。可以这样理解:直接内存是在系统内存和Java堆内存之间开辟出的一块共享区域,供操作系统和Java代码访问。
下面通过一个案例来对普通IO和NIO性能做比较,如下所示:
上述代码中复制三次1.5GB的影片文件,使用IO复制文件所耗费的时间为54606ms,使用NIO复制文件所耗费的时间为50244ms,相对来说有了性能的提升,如果适当增大直接内存或者增多复制的次数,效果会更明显。
3、直接内存异常
直接内存也可能导致OutOfMemoryError异常。由于直接内存在Java堆外,因此它的大小不会直接受限于“-Xmx”指定的最大堆大小,但是系统内存也是有限的,Java堆和直接内存的总和依然受限于操作系统能给出的最大内存。接下来通过一个案例演示直接内存的内存溢出现象,如代码清单如下所示:
运行结果如下图所示,可以看到结果发生了内存溢出异常:
直接内存由于不受JVM的内存管理,所以需要开发人员自己来管理,以防内存溢出,通常有两种方式:
- (1)当ByteBuffer对象不再使用的时候置为null,调用System.gc()方法告诉JVM可以回收ByteBuffer对象,最终系统调用freemermory()方法释放内存。System.gc()会引起一次Full GC,通常比较耗时,影响程序执行。
- (2)调用Unsafe类中的freemermory()方法释放内存。
可以通过参数-XX:MaxDirectMemorySize来指定直接内存的最大值。若不设置-XX:MaxDirectMemorySize参数,其默认值与“-Xmx”参数配置的堆内存的最大值一致。
4、申请直接内存源码分析
ByteBuffer类调用allocateDirect()方法申请直接内存,底层调用的是DirectByteBuffer类的构造方法,源码如下所示:
进入到DirectByteBuffer类的构造方法,如下代码清单所示:
该类访问权限是默认级别的,只能被同一个包下的类访问,所以开发人员无法直接调用,所以需要通过ByteBuffer类调用。构造方法中申请内存的核心代码就是Unsafe类中的allocateMemory(size)方法,该方法是一个native方法,不再深究。
Unsafe类无法直接被开发工程师使用,因为其构造方法是私有的,但是我们可以通过反射机制获取Unsafe对象,进而申请直接内存,如下代码清单所示:
Class clazz = Unsafe.class;
Field field = clazz.getDeclaredField("theUnsafe");
field.setAccessible(true);
Unsafe unsafe =(Unsafe)unsafeField.get(null);
//申请直接内存
unsafe.allocateMemory(size);
5、小结
讲解了直接内存的概念,直接内存来源于NIO,它是一块堆外内存,这些内存直接受操作系统管理。
通过读写影片的案例,展示了NIO和普通IO读取数据的性能对比,从结果来看,NIO的数据传输效率要比IO高,说明直接内存的使用可以提高数据传输效率,如果在读写频繁的场合可以考虑使用直接内存。直接内存不受JVM管理,相对于堆内存来讲更加难以控制,使用直接内存就意味着失去了JVM管理内存的可行性,需要由开发人员管理,所以在使用直接内存的时候要注意空间的释放。