1.mmap介绍
mmap是一种内存映射文件的方法,即将一个文件或者其他对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对应关系;实现这样的映射关系后,进程就可以采用指针的方式读写操作这一块内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必调用read,write等系统调用函数,相反,内核空间堆这段区域的修改也直接反应到用户空间,从而可以实现不同进程间的文件共享。
网上很多文章都说 mmap 完全绕开了页缓存机制,其实这并不正确。我们最终映射的物理内存依然在页缓存中,它可以带来的好处有:
- 减少系统调用。我们只需要一次 mmap() 系统调用,后续所有的调用像操作内存一样,而不会出现大量的 read/write 系统调用。
- 减少数据拷贝。普通的 read() 调用,数据需要经过两次拷贝;而 mmap 只需要从磁盘拷贝一次就可以了,并且由于做过内存映射,也不需要再拷贝回用户空间。
- 可靠性高。mmap 把数据写入页缓存后,跟缓存 I/O 的延迟写机制一样,可以依靠内核线程定期写回磁盘。
从上面的图看来,我们使用 mmap 仅仅只需要一次数据拷贝。
2.mmap使用场景
mmap 比较适合于对同一块区域频繁读写的情况,推荐也使用线程来操作。
- 用户日志、数据上报都满足这种场景,微信开源的 mars 框架中的 xlog模块也是基于 mmap 特性实现的。
- 需要跨进程同步的时候,mmap 也是一个不错的选择,Android 跨进程通信有自己独有的 Binder 机制,它内部也是使用 mmap 实现。
3.具体实现
在Android中可以将文件通过Java提供的MappedByteBuffer
映射到内存,然后进行读写。(微信的xlog模块mmap实现是基于C++代码实现)
MappedByteBuffer
位于 Java NIO 包下,用于将文件内容映射到缓冲区,使用的即是 mmap 技术。通过 FileChannel 的 map
方法可以创建缓冲区。
RandomAccessFile raf = new RandomAccessFile(file, "rw");
//position映射文件的起始位置,size映射文件的大小
MappedByteBuffer buffer = raf.getChannel().map(FileChannel.MapMode.READ_WRITE, position, size);
//往缓冲区里写入字节数据
buffer.put(log);
有一点比较坑,Java 虽然提供了 map 方法,但是并没有提供 unmap
方法,通过 Google 得知 unmap
方法是有的,不过是私有的,我们可以通过反射调用获取unmap
方法(Android 9.0以上对反射做了限制,可以参考这篇博文绕过限制)
/**
* 解除内存与文件的映射
* */
private void unmap(MappedByteBuffer mbbi) {
if (mbbi == null) {
return;
}
try {
Class<?> clazz = Class.forName("sun.nio.ch.FileChannelImpl");
Method m = clazz.getDeclaredMethod("unmap", MappedByteBuffer.class);
m.setAccessible(true);
m.invoke(null, mbbi);
} catch (Throwable e) {
e.printStackTrace();
}
}
4.原理
普通文件mmap原理
普通文件的访问方式有两种:第一种是通过read/write系统调访问,先在用户空间分配一段buffer,然后,进入内核,将内容从磁盘读取到内核缓冲,最后,拷贝到用户进程空间,至少牵扯到两次数据拷贝;同时,多个进程同时访问一个文件,每个进程都有一个副本,存在资源浪费的问题。另一种是通过mmap来访问文件,mmap()将文件直接映射到用户空间,文件在mmap的时候,内存并未真正分配,只有在第一次读取/写入的时候才会触发,这个时候,会引发缺页中断,在处理缺页中断的时候,完成内存也分配,同时也完成文件数据的拷贝。并且,修改用户空间对应的页表,完成到物理内存到用户空间的映射,这种方式只存在一次数据拷贝,效率更高。同时多进程间通过mmap共享文件数据的时候,仅需要一块物理内存就够了。
匿名共享内存原理
Android匿名共享内存是基于Linux共享内存的,都是在tmpfs文件系统上新建文件,并将其映射到不同的进程空间,从而达到共享内存的目的,只是,Android在Linux的基础上进行了改造,并借助Binder+fd文件描述符实现了共享内存的传递。
参考:https://www.jianshu.com/p/71c9b73d788e
https://blog.csdn.net/u014602917/article/details/105390368
https://www.jianshu.com/p/d9bc9c668ba6