Java-DirectByteBuffer、MappedByteBuffer

内存管理

了解ByteBuffer之前，先看看计算机内存管理的几个术语：

1. MMC：CPU的内存管理单元。
2. 物理内存：即内存条的内存空间。
3. 虚拟内存：计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续的可用的内存（一个连续完整的地址空间），而实际上，它通常是被分隔成多个物理内存碎片，还有部分暂时存储在外部磁盘存储器上，在需要时进行数据交换。
4. 页面文件：操作系统反映构建并使用虚拟内存的硬盘空间大小而创建的文件，在windows下，即pagefile.sys文件，其存在意味着物理内存被占满后，将暂时不用的数据移动到硬盘上。
5. 缺页中断：当程序试图访问已映射在虚拟地址空间中但未被加载至物理内存的一个分页时，由MMC发出的中断。如果操作系统判断此次访问是有效的，则尝试将相关的页从虚拟内存文件中载入物理内存。

为什么会有虚拟内存和物理内存的区别？

如果正在运行的一个进程，它所需的内存是有可能大于内存条容量之和的，如内存条是256M，程序却要创建一个2G的数据区，那么所有数据不可能都加载到内存（物理内存），必然有数据要放到其他介质中（比如硬盘），待进程需要访问那部分数据时，再调度进入物理内存。

什么是虚拟内存地址和物理内存地址？

假设你的计算机是32位，那么它的地址总线是32位的，也就是它可以寻址00xFFFFFFFF（4G）的地址空间，但如果你的计算机只有256M的物理内存0x0x0FFFFFFF（256M），同时你的进程产生了一个不在这256M地址空间中的地址，那么计算机该如何处理呢？

回答这个问题前，先说明计算机的内存分页机制。

计算机会对虚拟内存地址空间（32位为4G）进行分页产生页（page），对物理内存地址空间（假设256M）进行分页产生页帧（page frame），页和页帧的大小一样，所以虚拟内存页的个数势必要大于物理内存页帧的个数。在计算机上有一个页表（page table），就是映射虚拟内存页到物理内存页的，更确切的说是页号到页帧号的映射，而且是一对一的映射。

虚拟内存页的个数 > 物理内存页帧的个数，岂不是有些虚拟内存页的地址永远没有对应的物理内存地址空间？

不是的，操作系统是这样处理的。操作系统有个页面失效（page fault）功能。操作系统找到一个最少使用的页帧，使之失效，并把它写入磁盘，随后把需要访问的页放到页帧中，并修改页表中的映射，保证了所有的页都会被调度。

DirectByteBuffer

DirectByteBuffer 直接缓冲区。

DirectByteBuffer是一个特殊的ByteBuffer，底层同样需要一块连续的内存，操作模式与普通的ByteBuffer一致，但这块内存是调用unsafe的native方法分配的堆外内存。

直接缓冲区的内存释放也是由unsafe的native方法完成的，DirectByteBuffer指向的内存通过PhantomReference持有，由JVM自行回收。

但如果DirectByteBuffer经过数次GC后进入老年代，就很可能由于Full GC间隔较长而长期存活，进而导致指向的堆外内存也无法回收。当需要手动回收时，需要通过反射调用DirectByteBuffer内部的Cleaner的clean私有方法。

为何要使用堆外内存？

Java应用一般能够操作的是JVM管理的堆内内存，一段数据从应用中发送至网络需要经过多次复制：

1. 从堆内复制到堆外
2. 从堆外复制到socket缓存
3. socket缓存flush

DirectByteBuffer优缺点

使用直接缓冲区的优点：

1. 这块缓冲区内存不受JVM直接管理回收
2. 大小不受JVM分配的最大内存限制
3. 一些IO操作可以避免堆外内存和堆内内存间的复制，比如网络传输
4. 某些生命周期较长的大对象可以保存在堆外内存，减少对GC的影响

使用直接缓冲区的缺点：

1. 不受JVM直接管理，容易造成堆外内存泄露
2. 由于堆外内存并不能保存复杂对象而只能保存基本类型的包装类(底层都是byte array)，因此要保存对象时需要序列化

MappedByteBuffer

MappedByteBuffer 内存映射缓冲区。

MappedByteBuffer与其他ByteBuffer一样底层是一段连续内存，区别在于这段内存使用的是内存映射的那段内存，也就是说对于这块缓冲区的数据修改会同步到对应的文件中。

FileChannel

NIO的Channel类型是一个通道，本身不能访问数据，而是与Buffer交互。

Channel类的作用主要是操作数据、数据传输、实现内存映射。

FileChannel分类

1. FileChannel(文件)
2. SocketChannel(客户端TCP)
3. ServerSocketChannel(服务端TCP)
4. DatagramChannel(UDP)

FileChannel优缺点

FileChannel优点：

1. 内存映射的内容可以防止程序甭崩溃(kill -9)导致的数据丢失，这个特性在很多中间件系统中作用很大(阿里某些中间件比赛有要求kill -9不丢失)
2. 不用阻塞等待，效率高
3. 减少复制次数

FileChannel缺点：

1. 由于内存映射需要指定映射文件大小，那么当映射的文件大小比写入的内容大时会产生文件间隙，即文件EOF后还有一部分无内容的填充，文件末尾乱码之类的，这个在实际应用中需要注意
2. 映射后的内存页面需要等待被置换，导致系统的整体内存管理相对复杂