mmap内存 android,Android中mmap原理及应用简析

最新推荐文章于 2024-09-11 06:38:01 发布
最新推荐文章于 2024-09-11 06:38:01 发布
阅读量445 收藏
点赞数
文章标签： mmap内存 android

mmap是Linux中常用的系统调用API，用途广泛，Android中也有不少地方用到，比如匿名共享内存，Binder机制等。本文简单记录下Android中mmap调用流程及原理。mmap函数原型如下：

void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize);

几个重要参数

参数start：指向欲映射的内存起始地址，通常设为 NULL，代表让系统自动选定地址，映射成功后返回该地址。

参数length：代表将文件中多大的部分映射到内存。

参数prot：映射区域的保护方式。可以为以下几种方式的组合：

返回值是void *类型，分配成功后，被映射成虚拟内存地址。

mmap属于系统调用，用户控件间接通过swi指令触发软中断，进入内核态(各种环境的切换)，进入内核态之后，便可以调用内核函数进行处理。 mmap->mmap64->__mmap2->sys_mmap2-> sys_mmap_pgoff ->do_mmap_pgoff

/Users/personal/source_code/android/platform/bionic/libc/bionic/mmap.cpp:

71c9b73d788e

mmap用户空间系统调用

/Users/personal/source_code/android/platform/bionic/libc/arch-arm/syscalls/__mmap2.S:

71c9b73d788e

mmap bionic汇编

而 __NR_mmap在系统函数调用表中对应的减值如下：

71c9b73d788e

image.png

通过系统调用，执行swi软中断，进入内核态，最终映射到call.S中的内核函数：sys_mmap2

71c9b73d788e

image.png

sys_mmap2最终通过sys_mmap_pgoff在内核态完成后续逻辑。

71c9b73d788e

image.png

sys_mmap_pgoff通过宏定义实现

/Users/personal/source_code/android/kernel/common/mm/mmap.c:

71c9b73d788e

image.png

进而调用do_mmap_pgoff：

/Users/personal/source_code/android/kernel/common/mm/mmap.c:

71c9b73d788e

image.png

unsigned long do_mmap_pgoff(struct file *file, unsigned long addr,

unsigned long len, unsigned long prot,

unsigned long flags, unsigned long pgoff,

unsigned long *populate)

{

struct mm_struct * mm = current->mm;

struct inode *inode;

vm_flags_t vm_flags;

*populate = 0;

...

addr = get_unmapped_area(file, addr, len, pgoff, flags);

...

inode = file ? file_inode(file) : NULL;

...

addr = mmap_region(file, addr, len, vm_flags, pgoff);

if (!IS_ERR_VALUE(addr) &&

((vm_flags & VM_LOCKED) ||

(flags & (MAP_POPULATE | MAP_NONBLOCK)) == MAP_POPULATE))

*populate = len;

return addr;

}

get_unmapped_area用于为用户空间找一块内存区域，

unsigned long

get_unmapped_area(struct file *file, unsigned long addr, unsigned long len,

unsigned long pgoff, unsigned long flags)

{

unsigned long (*get_area)(struct file *, unsigned long,

unsigned long, unsigned long, unsigned long);

...

get_area = current->mm->get_unmapped_area;

if (file && file->f_op && file->f_op->get_unmapped_area)

get_area = file->f_op->get_unmapped_area;

addr = get_area(file, addr, len, pgoff, flags);

...

return error ? error : addr;

}

current->mm->get_unmapped_area一般被赋值为arch_get_unmapped_area_topdown，

71c9b73d788e

image.png

unsigned long

arch_get_unmapped_area_topdown(struct file *filp, const unsigned long addr0,

const unsigned long len, const unsigned long pgoff,

const unsigned long flags)

{

struct vm_area_struct *vma;

struct mm_struct *mm = current->mm;

unsigned long addr = addr0;

int do_align = 0;

int aliasing = cache_is_vipt_aliasing();

struct vm_unmapped_area_info info;

...

addr = vm_unmapped_area(&info);

...

return addr;

}

先找到合适的虚拟内存(用户空间)，几经周转后，调用相应文件或者设备驱动中的mmap函数，完成该设备文件的mmap，至于如何处理处理虚拟空间，要看每个文件的自己的操作了。

71c9b73d788e

image.png

这里有个很关键的结构体

const struct file_operations *f_op;

它是文件驱动操作的入口，在open的时候，完成file_operations的绑定，open流程跟mmap类似

71c9b73d788e

open系统调用

71c9b73d788e

open系统调用

71c9b73d788e

image.png

71c9b73d788e

image.png

71c9b73d788e

image.png

先通过get_unused_fd_flags获取个未使用的fd，再通过do_file_open完成file结构体的创建及初始化，最后通过fd_install完成fd与file的绑定。

71c9b73d788e

image.png

重点看下path_openat：

static struct file *path_openat(int dfd, struct filename *pathname,

struct nameidata *nd, const struct open_flags *op, int flags)

{

struct file *base = NULL;

struct file *file;

struct path path;

int opened = 0;

int error;

file = get_empty_filp();

if (IS_ERR(file))

return file;

file->f_flags = op->open_flag;

error = path_init(dfd, pathname->name, flags | LOOKUP_PARENT, nd, &base);

if (unlikely(error))

goto out;

current->total_link_count = 0;

error = link_path_walk(pathname->name, nd);

if (unlikely(error))

goto out;

error = do_last(nd, &path, file, op, &opened, pathname);

while (unlikely(error > 0)) { /* trailing symlink */

struct path link = path;

void *cookie;

if (!(nd->flags & LOOKUP_FOLLOW)) {

path_put_conditional(&path, nd);

path_put(&nd->path);

error = -ELOOP;

break;

}

error = may_follow_link(&link, nd);

if (unlikely(error))

break;

nd->flags |= LOOKUP_PARENT;

nd->flags &= ~(LOOKUP_OPEN|LOOKUP_CREATE|LOOKUP_EXCL);

error = follow_link(&link, nd, &cookie);

if (unlikely(error))

break;

error = do_last(nd, &path, file, op, &opened, pathname);

put_link(nd, &link, cookie);

}

out:

if (nd->root.mnt && !(nd->flags & LOOKUP_ROOT))

path_put(&nd->root);

if (base)

fput(base);

if (!(opened & FILE_OPENED)) {

BUG_ON(!error);

put_filp(file);

}

if (unlikely(error)) {

if (error == -EOPENSTALE) {

if (flags & LOOKUP_RCU)

error = -ECHILD;

else

error = -ESTALE;

}

file = ERR_PTR(error);

}

return file;

}

拿Binder设备文件为例子，在注册该设备驱动的时候，对应的file_operations已经注册好了，

71c9b73d788e

image.png

71c9b73d788e

image.png

open的时候，只需要根根inode节点，获取到file_operations既可，并且，在open成功后，要回调file_operations中的open函数

71c9b73d788e

image.png

open后，就可以利用fd找到file，之后利用file中的file_operations *f_op调用相应驱动函数，接着看mmap。

Binder mmap 的作用及原理(一次拷贝)

Binder机制中mmap的最大特点是一次拷贝即可完成进程间通信。Android应用在进程启动之初会创建一个单例的ProcessState对象，其构造函数执行时会同时完成binder mmap，为进程分配一块内存，专门用于Binder通信，如下。

ProcessState::ProcessState(const char *driver)

: mDriverName(String8(driver))

, mDriverFD(open_driver(driver))

...

{

if (mDriverFD >= 0) {

// mmap the binder, providing a chunk of virtual address space to receive transactions.

mVMStart = mmap(0, BINDER_VM_SIZE, PROT_READ, MAP_PRIVATE | MAP_NORESERVE, mDriverFD, 0);

...

}

}

第一个参数是分配地址，为0意味着让系统自动分配，流程跟之前分子类似，先在用户空间找到一块合适的虚拟内存，之后，在内核空间也找到一块合适的虚拟内存，修改两个控件的页表，使得两者映射到同一块物力内存。

Linux的内存分用户空间跟内核空间，同时页表有也分两类，用户空间页表跟内核空间页表，每个进程有一个用户空间页表，但是系统只有一个内核空间页表。而Binder mmap的关键是：也更新用户空间对应的页表的同时也同步映射内核页表，让两个页表都指向同一块地址，这样一来，数据只需要从A进程的用户空间，直接拷贝拷贝到B所对应的内核空间，而B多对应的内核空间在B进程的用户空间也有相应的映射，这样就无需从内核拷贝到用户空间了。

static int binder_mmap(struct file *filp, struct vm_area_struct *vma)

{

int ret;

...

if ((vma->vm_end - vma->vm_start) > SZ_4M)

vma->vm_end = vma->vm_start + SZ_4M;

...

// 在内核空间找合适的虚拟内存块

area = get_vm_area(vma->vm_end - vma->vm_start, VM_IOREMAP);

proc->buffer = area->addr;

proc->user_buffer_offset = vma->vm_start - (uintptr_t)proc->buffer;

...

proc->pages = kzalloc(sizeof(proc->pages[0]) * ((vma->vm_end - vma->vm_start) / PAGE_SIZE), GFP_KERNEL);

..

ret = binder_update_page_range(proc, 1, proc->buffer, proc->buffer + PAGE_SIZE, vma);

...

return ret;

}

binder_update_page_range完成了内存分配、页表修改等关键操作：

static int binder_update_page_range(struct binder_proc *proc, int allocate,

void *start, void *end,

struct vm_area_struct *vma)

{

...

for (page_addr = start; page_addr < end; page_addr += PAGE_SIZE) {

int ret;

struct page **page_array_ptr;

page = &proc->pages[(page_addr - proc->buffer) / PAGE_SIZE];

*page = alloc_page(GFP_KERNEL | __GFP_HIGHMEM | __GFP_ZERO);

...

ret = map_vm_area(&tmp_area, PAGE_KERNEL, &page_array_ptr);

..

user_page_addr =

(uintptr_t)page_addr + proc->user_buffer_offset;

ret = vm_insert_page(vma, user_page_addr, page[0]);

}

...

return -ENOMEM;

}

可以看到，binder一次拷贝的关键是，完成内存的时候，同时完成了内核空间跟用户空间的映射，也就是说，同一份物理内存，既可以在用户空间，用虚拟地址访问，也可以在内核空间用虚拟地址访问。

普通文件mmap原理

普通文件的访问方式有两种：第一种是通过read/write系统调访问，先在用户空间分配一段buffer，然后，进入内核，将内容从磁盘读取到内核缓冲，最后，拷贝到用户进程空间，至少牵扯到两次数据拷贝；同时，多个进程同时访问一个文件，每个进程都有一个副本，存在资源浪费的问题。

另一种是通过mmap来访问文件，mmap()将文件直接映射到用户空间，文件在mmap的时候，内存并未真正分配，只有在第一次读取/写入的时候才会触发，这个时候，会引发缺页中断，在处理缺页中断的时候，完成内存也分配，同时也完成文件数据的拷贝。并且，修改用户空间对应的页表，完成到物理内存到用户空间的映射，这种方式只存在一次数据拷贝，效率更高。同时多进程间通过mmap共享文件数据的时候，仅需要一块物理内存就够了。

共享内存中mmap的使用

共享内存是在普通文件mmap的基础上实现的，其实就是基于tmpfs文件系统的普通mmap，有机会再分析，不再啰嗦。

作者：看书的小蜗牛

仅供参考，欢迎指正

weixin_39600837
关注
Python3 mmap内存映射文件示例解析
09-17
内存映射文件的一个重要应用是在大文件处理中，特别是当需要随机访问文件的不同部分时，它可以显著提高效率。此外，多个进程可以共享同一内存映射，从而实现数据的并发访问和同步。 总之，Python3的mmap模块提供了...
2019-08-18-Android高性能日志写入方案-mmap
Jesse的博客
04-08 2022
文章目录前言常规方案的缺陷什么是mmapmmap使用场景具体实现总结 前言 最近在做一个新零售的收银app，对于app稳定性要求比较高，但是难免会出现一些难以复现的问题，针对这些问题，分析日志有时候是解决问题的必要手段。下面我们主要分析下日志写入方案的实现。详细代码可参考AwesomeLog，如果能够帮到你，希望给个star，感谢。 常规方案的缺陷 性能问题：一开始日志的写入就是通过标准I/O直...
Android mmap+Binder机制
zenmela2011的专栏
06-14 2783
1.Binder ①Binder是什么？ 机制：Binder是一种进程间通信的机制 驱动：Binder是一个虚拟物理设备驱动 应用层：Binder是一个能发起进程间通信的JAVA类 Binder就是Android中的血管，在Android中使用Activity、Service等组件时都需要和AMS（system_server）进行通信，这种跨进程的通信都是通过Binder完成。 Activity、Service等组件和AMS不是同一个进程，其实也是多进程通信。 ②为什么要用多进程？ 虚拟机给
Android中mmap原理及应用简析
最新发布
2401_86963766的博客
09-11 912
get_unmapped_area用于为用户空间找一块内存区域，current->mm->get_unmapped_area一般被赋值为arch_get_unmapped_area_topdown，先找到合适的虚拟内存（用户空间），几经周转后，调用相应文件或者设备驱动中的mmap函数，完成该设备文件的mmap，至于如何处理处理虚拟空间，要看每个文件的自己的操作了。这里有个很关键的结构体。
深入探索 Android 内存优化（炼狱级别）
idaretobe的专栏
03-09 2282
前言 成为一名优秀的Android开发，需要一份完备的知识体系，在这里，让我们一起成长为自己所想的那样~。 本篇是 Android 内存优化的进阶篇，难度可以说达到了炼狱级别，建议对内存优化不是非常熟悉的仔细看看前篇文章：Android性能优化之内存优化，其中详细分析了以下几大模块： 1）、Android的内存管理机制 2）、优化内存的意义 3）、避免内存泄漏 4）、优化内存空间 5）、图片管理模块的设计与实现 如果你对以上基础内容都比较了解了，那么我们便开始 Android 内...
android mmap
shiningdreamercaihua的博客
03-12 802
android mmap的使用 Android-内存映射mmap
Android-面试中常问的MMAP到底是啥东东？原理及应用解析，赶紧学起来
2401_84148911的博客
04-06 971
今天关于面试的分享就到这里，还是那句话，有些东西你不仅要懂，而且要能够很好地表达出来，能够让面试官认可你的理解，例如Handler机制，这个是面试必问之题。有些晦涩的点，或许它只活在面试当中，实际工作当中你压根不会用到它，但是你要知道它是什么东西。最后在这里小编分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司2021年的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。还有。
shiyong_mmap.rar_camera mmap_内存映射
09-22
内存映射（mmap）是一种在操作系统中将文件或设备直接...通过学习这个文档，初学者将能够理解内存映射的基本原理，掌握如何在摄像头应用中使用内存映射，以及如何优化和调试相关的代码，从而提升摄像头数据处理的效率。
mmap测试例程应用实例
01-29
内存映射（mmap）是Linux系统中一种高效的数据访问技术，它允许程序直接通过内存地址来访问文件，而无需经过传统的I/O操作。...同时，理解mmap的工作原理也有助于我们更好地理解和优化系统的内存管理。
Android应用程序开发中安全性设计的研究.pdf
09-22
此外，Android系统中还包含了多种安全技术如ASLR（地址空间布局随机化）、NX（执行保护）以及各种内存分配保护措施（例如，OpenBSD dlmalloc、Linux mmap_min_addr）。这些技术能够减轻与内存分配有关的风险，并防止...
Android 进程间通信机制(二) mmap 原理
u012514113的专栏
03-11 1459
Binder中一次拷贝的实现利用mmap(memory mapping)内存映射机制
Android中mmap原理及应用简析，【设计思想解读开源框架
2401_83621384的博客
03-19 781
mmap是Linux中常用的系统调用API，用途广泛，Android中也有不少地方用到，比如匿名共享内存，Binder机制等。本文简单记录下Android中mmap调用流程及原理。mmap函数原型如下：几个重要参数返回值是void *类型，分配成功后，被映射成虚拟内存地址。mmap属于系统调用，用户控件间接通过swi指令触发软中断，进入内核态（各种环境的切换），进入内核态之后，便可以调用内核函数进行处理。
Android 内存映射mmap浅谈
luo_boke的博客
11-09 5707
最能想到mmap函数的是跨进程通信Binder机制中使用到了，它的强大之处在于通过内存映射直接对文件进行读写，减少了对数据的拷贝次数和提高了IO读写的效率。 本篇博文主要讲解的是mmap内存映射相关知识，主要分析了mmap的原理和使用案例流程分析，在Android中Binder机制中其核心就使用了mmap内存映射。
「抄底 Android 内存优化 4」 — 图解 mmap 原理
大圣代的技术专栏
08-25 1367
前面我们学习了分配虚拟内存的两种系统调用：brk 和 mmap 。brk 就很好理解了，直接移动指针即可。但是对 mmap 却还是云里雾里不是很理解。这里就单独学习一下 mmap 的基本原理以及在 Android 系统中的应用。 在 Android 中 mmap 应用于堆内存划分的同时也是 Binder 机制的基石，而腾讯的高性能 IO 库 [MMKV](https://github.com/tencent/mmkv)、美团的 [Logan](https://github.com/Meituan-Dia
Android面试中常问的MMAP到底是啥东东，Android程序员必经的实践之路
2401_83330193的博客
03-07 937
进程是具有独立功能的程序在一个数据集合上运行的过程。进程是系统进行资源分配的单位，实现的操作系统的并发。线程是比进程更小的能独立运行的单位，是 调度的基本单位，实现了进程内部的并发。线程成为了程序执行流的最小单位。当有多个进程请求资源时，就会造成内存资源紧张，所以操作系统还存在一种挂起操作：将进程交换到外存去，使进程进入挂起状态。响。 4. 进程切换时，涉及整个程序的 环境保存和新调度进程的 环境配置。线程切换时，只需要保存少量内容，所以进程切换的系统开销更大。 5. 进程通信时，由于它的空间独立
Android-面试中常问的MMAP到底是啥东东？原理及应用解析
2401_84003115的博客
04-16 787
希望大家能有一个好心态，想进什么样的公司要想清楚，并不一定是大公司，我选的也不是特大厂。当然如果你不知道选或是没有规划，那就选大公司！希望我们能先选好想去的公司再投或内推，而不是有一个公司要我我就去！还有就是不要害怕，也不要有压力，平常心对待就行，但准备要充足。最后希望大家都能拿到一份满意的 offer！如果目前有一份工作也请好好珍惜好好努力，找工作其实挺累挺辛苦的。这里附上上述的面试题相关的几十套字节跳动，京东，小米，腾讯、头条、阿里、美团等公司19年的面试题。
2024年Android最新android mmap的使用(1)，2024Android面试
2301_82244182的博客
05-14 830
分享一份NDK基础开发资料分享内容包括不限于高级UI、性能优化、架构师课程、NDK、混合式开发（ReactNative+Weex）微信小程序、Flutter等全方面的Android进阶实践技术；希望能帮助到大家，也节省大家在网上搜索资料的时间来学习，也可以分享动态给身边好友一起学习！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
Linux内存映射mmap机制与共享内存解析
mmap系统调用是虚存系统的核心，通过创建内存管理数据结构，当进程访问映射的页面时，若页面不在内存中，会产生缺页中断，由内核负责将数据读入并更新页表。这种机制减少了系统调用次数，优化了并发访问同一文件时的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值