【操作系统】MMAP内存映射|零拷贝

最新推荐文章于 2024-09-05 19:32:32 发布

我要成为C++领域大神

最新推荐文章于 2024-09-05 19:32:32 发布

阅读量1.3k

点赞数 32

分类专栏：【Linux】【操作系统】文章标签：服务器 linux 多进程操作系统面试 c语言内存映射

本文链接：https://blog.csdn.net/coldreams/article/details/139833049

版权

【Linux】同时被 2 个专栏收录

22 篇文章 4 订阅

订阅专栏

【操作系统】

20 篇文章 2 订阅

订阅专栏

🔥博客主页：我要成为C++领域大神
🎥系列专栏：【C++核心编程】【计算机网络】【Linux编程】【操作系统】
❤️感谢大家点赞👍收藏⭐评论✍️

本博客致力于知识分享，与更多的人进行学习交流

`MMAP`实现的原理

内存映射文件（Memory-Mapped Files）：将文件映射到进程的用户空间，使得进程之间可以直接通过内存访问文件内容，从而实现文件内容的共享，而不需要通过传统的读写方式来操作。适用于大型数据的共享和持久化。

使用mmap完成进程间的通信，也是确定通信方向，一个负责编辑修改映射内存，一个负责打印映射内存数据，不要让两端同时修改访问映射内存，会出现数据异常。

私有映射：拷贝映射，将映射文件的数据拷贝一份到映射内存，两份数据独立无关联

共享映射：同步映射，将映射文件的数据映射一份给进程，两份数据建立sync同步机制，对一份数据的修改会立即更新给另一份。

内存映射文件机制通过mmap函数实现。

`mmap()`

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

参数

addr：指定映射的起始地址。通常设为 NULL，表示让操作系统选择合适的地址。

length：指定映射的长度，即要映射的文件或对象的大小。

prot：指定映射区域的保护方式，可以是 PROT_READ（可读）、PROT_WRITE（可写）、PROT_EXEC（可执行）的组合，用来控制映射区域的访问权限。

flags：用来指定映射对象的类型及其属性。常见的标志包括 MAP_SHARED（映射可以被其他进程共享）和 MAP_PRIVATE（映射私有，对映射的修改不会影响到原文件）。

fd：打开文件时返回的文件描述符，用来标识要映射的文件。如果映射匿名内存区域，可以传入 -1。

offset：指定文件映射的起始位置，通常设为 0。

映射成功返回ptr，映射内存地址；失败返回MAP_FAILED关键字

`munmap`

取消之前通过 mmap 创建的内存映射区域。当不再需要映射到进程地址空间的文件或者匿名内存时，调用 munmap 可以释放对应的内存空间，使操作系统可以重新管理这部分内存。

int munmap(void *addr, size_t length);

addr：要解除映射的起始地址，即 mmap 返回的映射区域的起始地址。

length：要解除映射的长度，应该与 mmap 创建映射时指定的长度相同。

下面是使用mmap对映射文件进行操作的demo程序：

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/types.h>
#include <sys/fcntl.h>
#include <sys/stat.h> 
#include <sys/mman.h>
int main()
{
    int fd=open("Map_File",O_RDWR);//打开映射文件
    int size;
    size=lseek(fd,0,SEEK_END);//获取文件大小
    int * ptr=NULL; //这里定义成什么类型的指针都可以。定义成int类型指针一次可以操作4个字节
    if((ptr=(int*)mmap(NULL,size,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0))==MAP_FAILED){
        perror("mmap call failed");
        exit(0);
    }
    close(fd); //不需要通过文件描述符操作映射文件，所以可以关闭
    ptr[0]=0x34333231;
    munmap(ptr,size);//回收映射内存
	return 0;
}

运行结果：

mmap是否可以读写映射，取决于文件的打开权限，如果打开文件时有足够的权限，那么可以进行读写映射，映射的权限小于等于文件的权限。

例如当我们修改demo程序中打开文件的权限为只读，而映射的权限为读写。

编译运行demo程序，会提示我们权限不足。

使用mmap机制实现进程间的通信

步骤：

写端：

1、打开映射文件

2、拓展空文件

3、共享映射

4、向映射内存写入数据

读端：

1、打开映射文件

2、共享映射

3、打印内存数据

我们在创建映射文件时需要向文件内填入数据文件才有空间，而当我们想要通信时，共享映射文件应该为空。所以需要使用ftruncate拓展映射内存大小为消息大小。

写端代码：

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <sys/types.h>
#include <sys/fcntl.h>
#include <sys/stat.h> 
#include <sys/mman.h>

typedef struct {
    int id;
    char data[1024];
}Msg_t;


int main()
{
    int fd=open("Map_File",O_RDWR);//读写打开映射文件
    //拓展空文件，使其有封装数据的空间大小，但是内容为空
    ftruncate(fd,sizeof(Msg_t));
    Msg_t* pMsg=NULL;
    if((pMsg=(Msg_t*)mmap(NULL,sizeof(Msg_t),PROT_READ|PROT_WRITE,MAP_SHARED,fd,0))==MAP_FAILED){
        perror("mmap call failed");
        exit(0);
    }
    close(fd); //不需要通过文件描述符操作映射文件，所以可以关闭
    pMsg->id=1;
    bzero(pMsg->data,sizeof(pMsg->data));
    while(1){//持续向映射内存写入数据
        ++(pMsg->id);
        sprintf(pMsg->data,"test message,msg id=%d\n",pMsg->id);
        sleep(1);
    }
    munmap(pMsg,sizeof(Msg_t));//回收映射内存
	return 0;
}

读端代码：

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <sys/types.h>
#include <sys/fcntl.h>
#include <sys/stat.h> 
#include <sys/mman.h>

typedef struct {
    int id;
    char data[1024];
}Msg_t;


int main()
{
    int fd=open("Map_File",O_RDWR);//读写打开映射文件
     Msg_t* pMsg=NULL; 
    if((pMsg=(Msg_t*)mmap(NULL,sizeof(Msg_t),PROT_READ|PROT_WRITE,MAP_SHARED,fd,0))==MAP_FAILED){
        perror("mmap call failed");
        exit(0);
    }
    close(fd); //不需要通过文件描述符操作映射文件，所以可以关闭
    while(1){//持续从映射内存读取数据
        printf("msg id=%d message:%s",pMsg->id,pMsg->data);
        sleep(1);
    }
    munmap(pMsg,sizeof(Msg_t));//回收映射内存
	return 0;
}

运行结果：

映射文件的大小与映射内存大小的关系

在进行映射时，一般要看映射文件大小，如果映射内存与映射文件大小不符，在访问内存时产生总线错误，系统向进程发送SIGBUS，杀死进程。

当我们修改demo程序中映射内存大小为1024时，使用指针对映射文件进行修改，发现只有映射5个字节能被修改（还有字符串结束标记'\0'）。即使映射内存为1024，编译运行后，映射文件仍为5个字节。

#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/types.h>
#include <sys/fcntl.h>
#include <sys/stat.h> 
#include <sys/mman.h>
int main()
{
    int fd=open("Map_File",O_RDWR);//打开映射文件
    int size;
    size=lseek(fd,0,SEEK_END);//获取文件大小
    char * ptr=NULL; //这里定义成什么类型的指针都可以。定义成int类型指针一次可以操作4个字节
    if((ptr=(char*)mmap(NULL,1024,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0))==MAP_FAILED){
        perror("mmap call failed");
        exit(0);
    }
    close(fd); //不需要通过文件描述符操作映射文件，所以可以关闭
    ptr[0]='Q';
    ptr[1]='W';
    ptr[2]='E';
    ptr[3]='R';
    ptr[4]='T';
    ptr[5]='Y';
    munmap(ptr,size);//回收映射内存
	return 0;
}