java流与文件——内存映射文件

【0】README

0.1） 本文描述转自 core java volume 2， 旨在理解 java流与文件——内存映射文件 的相关知识；
0.2）内存映射文件的目的是： 提高访问速度， 缓冲区Buffer；
0.3） 本文干货源代码均为原创， for source code , please visit https://github.com/pacosonTang/core-java-volume/blob/master/coreJavaAdvanced/chapter1/MemoryMapTest.java

---

【1】intro to 内存映射文件

1.1）大多数os 都利用 虚拟内存实现来将 一个文件或文件的一部分映射到 内存中；
1.2）java.nio 包使内存映射变得简单， 下面是我们需要做的：

• 1.2.1）首先，从文件中获得一个通道， 通道是对 磁盘文件的一种抽象， 它使我们可以访问诸如内存映射， 文件加锁机制以及文件间快速数据传递等操作系统特性；（干货——通道的定义，即对磁盘文件的抽象）
  FileChannel channel = FIleChannel.open(path , options);
• 1.2.2） 然后， 调用FileChannel 类的map方法从这个通道中获得一个 ByteBuffer。 你可以指定想要映射的文件区域与映射模式， 支持的模式有三种（Model）：
  
  • M1）FileChannel.MapMode.READ_ONLY： 所产生的缓冲区是只读的， 任何对该缓冲区写入都会产生异常；
  • M2）FileChannel.MapMode.READ_WRITE：所产生的缓冲区是可写的；任何修改都会在这个时刻写回到文件中；
  • M3）FileChannel.MapMode.PRIVATE： 所产生的缓冲区是可写的， 但是任何修改对这个缓冲区来说都是私有的，不会传播到文件中；

1.3）一旦有了缓冲区，就可以使用 ByteBuffer 类 和 Buffer 超类的方法读写数据了；

• 1.3.1）缓冲区支持顺序和随机数据访问， 它有一个可以通过get 和 put 操作来移动的位置；如， 像下面这样遍历缓冲区中的所有字节：
  while(buffer.hasRemaining)
  {
  byte b = buffer.get();
  }
• 1.3.2）或者像下面这样进行随机访问：
  for(i=0;i

CRC32 crc = new CRC32();
while(more bytes)
    crc.update(next byte)
long checksum = crc.getValue();

---

【2】缓冲区数据结构

2.1）在使用内存映射时， 我们创建了单一的缓冲区横跨整个文件或我们感兴趣的文件区域。我们还可以使用更多的缓冲区来读写大小适度的信息块；
2.2）本节将简要介绍Buffer 对象上的基本操作。

• 2.2.1）缓冲区定义：缓冲区是由具有相同类型的数值构成的数组，Buffer 类是一个抽象类， 它有众多的具体子类，包括ByteBuffer, CharBuffer, DoubleBuffer, IntBuffer, LongBuffer, ShortBuffer ； （干货——缓冲区定义）
  Attention） StringBufffer 类与这些缓冲区没有关系；
• 2.2.2）最常用的是ByteBuffer 和 CharBuffer； （干货——最常用Buffer的是ByteBuffer 和 CharBuffer）

• 2.2.3）每个缓冲区都具有： （干货——缓冲区的功能）

  • 2.2.3.1）一个容量： 它永远不能改变；
  • 2.2.3.2）一个读写位置： 下一个值将在此进行读写；
  • 2.2.3.3）一个界限： 超过它进行读写是没有意义的；
  • 2.2.3.4）一个可选标记:用于重复一个读入或写出操作；
  • 2.2.3.5）这些值满足下面的条件： 0 <= 标记<=读写位置 <=界限 <=容量； （干货——缓冲区中给定标记，读写位置，界限，容量的大小关系）
    

• 2.2.4）使用缓冲区的主要目的是执行写， 然后读入循环。

  • 2.2.4.1）put方法：将值添加到缓冲区；
  • 2.2.4.2）flip方法：将界限设置到当前位置，并把位置复位到0；
  • 2.2.4.3）remaining方法： 现在在 remaining 方法返回整数时（它返回的值是 “界限—位置”），不断地调用get方法；
  • 2.2.4.4）clear方法： 在我们将缓冲区的所有值都读入后， 调用clear 使缓冲区为下一次写循环做好准备。 clear 方法将位置复位到0， 并将界限复位到容量；
  • 2.2.4.5）rewind 或 mark/reset方法： 如果你想重读缓冲区， 可以使用 rewind或 mark/reset 方法；
  • 2.2.4.6）ByteBuffer.allocate 或 ByteBuffer.wrap ： 要获得缓冲区，调用它们；
  • 2.2.4.7）用来自某个通道的数据填充缓冲区， 或用缓冲区的数据写出到通道： （干货代码——用来自某个通道的数据填充缓冲区， 或用缓冲区的数据写出到通道）

ByteBuffer buffer = ByteBuffer.allocate(RECORD_SIZE);
channel.read(buffer);
channel.position(newpos);
buffer.flip();
channel.write(buffer);

---

【3】文件加锁机制（多个程序同时修改同一个文件的情形）

3.1）problem + solution

• 3.1.1）problem： 多个程序同时修改同一个文件的情形， 这些程序需要以某种方式进行通信， 不然文件很容易损坏；
• 3.1.2）solution： 文件锁可以解决这个问题， 它可以控制对文件或文件中的某个范围的字节 的访问； （干货——文件锁的功能）

3.2）看个荔枝：假设应用程序将用户个人信息存储在一个配置文件中， 当用户同时调用两个线程操作该文件时；

• 3.2.1）第一个线程，应该锁定该文件， 而第二个线程发现这个文件被锁定了， 它必须决策是等待直至解锁还是跳过这个写操作过程；（干货——文件加锁机制后线程如何决策）

FileChannel channel = FileChannel.open(path);
FileLock lock = channle.lock();
或
FileLock lock = channel.tryLock();

Attention）： 通道是对磁盘文件的一种抽象； （干货——再次提醒通道定义，即通道是对磁盘文件的一种抽象）

对上述代码的分析（Analysis）：

• A1）第一个调用会阻塞直至可获得锁， 而第二个调用将立即返回， 要么返回锁，要么在所不可获得的情况下返回null；
• A2）这个文件将保持锁定状态，直至这个通道被关闭， 或者在锁上调用 release 方法；

3.3）你还可以通过下面的调用锁定文件的一部分：

FileLock lock(long start, long size, boolean shared)
或
FileLock tryLock(long start, long size, boolean shared)

• 3.3.1）如果shared 标志为 false， 则锁定文件的目的是读写， 而如果为 true， 则这是一个共享锁， 它允许多个进程从文件中读入， 并组织任何进程获得独占锁； （干货——tryLock方法中shared数据域的含义）
• 3.3.2）并非所有的os 都支持共享锁， 因此你可能会请求共享锁的时候得到的是独占的锁。调用 FileLock 类的 isShared 方法可以查询你所持有的锁的类型； （干货——共享锁和独占锁的定义）

Attention）如果你锁定了文件的尾部， 而这个文件的长度随后增长超过了锁定的部分， 那么增长出来的额外区域是未锁定的， 要想锁定所有的字节，可以用 Long.MAX_VALUE 来表示尺寸；

3.4）要确保在操作完成时释放锁，与往常一样， 最好在一个 try 语句中执行释放锁的操作：

try(FileLock lock = channle.lock())
{
    access th elocked file or segment
}

对以上代码的分析（Analysis）：

• A1）查看 tryLock API， 你会发现（以下内容转自 java SE 8 API)： （干货中的干货——shared标识的排他锁或共享锁与StandardOpenOption的对应关系）

public abstract FileLock tryLock(long position,
                                 long size,
                                 boolean shared)
                          throws IOException
Parameters:
position - The position at which the locked region is to start; must be non-negative
size - The size of the locked region; must be non-negative, and the sum position + size must be non-negative
shared - true to request a shared lock, false to request an exclusive lock

• A2）shared 属性值（false=排他锁， 而true=共享锁）
  
  • NonReadableChannelException - If shared is true but this channel was not opened for reading
  • NonWritableChannelException - If shared is false but this channel was not opened for writing
• 也就是说，
  
  • 共享锁（shared = true）： 对应的是 FileChannel channel = FileChannel.open(path, StandardOpenOption.READ)
  • 排他锁（shared = false）： 对应的是FileChannel channel = FileChannel.open(path, StandardOpenOption.WRITE)
  • 以上对应关系出错的话，会抛出异常；

Attention） 文件加锁机制是依赖于os的， 下面是需要注意的：

• A1）在某些系统中，文件加锁仅仅是建议性的， 如果一个应用未能获得锁，它仍旧可以向被另一个应用并发锁定的文件执行写操作；
• A2）在某些系统中， 不能在锁定一个文件的同时将其映射到内存中；
• A3）文件锁是由整个 java 虚拟机持有的。 如果有两个程序是由同一个虚拟机启动的， 那么他们不可能每一个都获得一个在同一个文件上的锁。当调用lock 或 tryLock 方法时， 如果虚拟机已经在同一个文件上持有另一个重叠的锁，那么这两个方法将抛出 OverlappingFileLockException；
• A4）在一些系统中， 关闭一个通道会释放由 java 虚拟机持有的底层文件上的所有锁。 因此， 在同一个锁定文件上应该避免使用多个通道；（干货——在同一个锁定文件上应该避免使用多个通道）
• A5）在网络文件系统上锁定文件时高度依赖于系统 的， 因此应该尽量避免；