linux mmap 内存映射 mmap() vs read()/write()/lseek()

最新推荐文章于 2023-02-16 00:48:07 发布
最新推荐文章于 2023-02-16 00:48:07 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： Linux_C 文章标签： linux command null file freebsd struct

From: http://www.perfgeeks.com/?p=723

通过strace统计系统调用的时候，经常可以看到mmap()与mmap2()。系统调用mmap()可以将某文件映射至内存(进程空间)，如此可以把对文件的操作转为对内存的操作，以此避免更多的lseek()与read()、write()操作，这点对于大文件或者频繁访问的文件而言尤其受益。但有一点必须清楚：mmap的addr与offset必须对齐一个内存页面大小的边界，即内存映射往往是页面大小的整数倍，否则maaped_file_size%page_size内存空间将被闲置浪费。

演示一下,将文件/tmp/file_mmap中的字符转成大写，分别使用mmap与read/write二种方法实现。

/*
* @file: t_mmap.c
*/
#include <stdio.h>
#include <ctype.h>
#include <sys/mman.h> /*mmap munmap*/
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
 
int main(int argc, char *argv[])
{
    int fd;
    char *buf;
    off_t len;
    struct stat sb;
    char *fname = "/tmp/file_mmap";
 
    fd = open(fname, O_RDWR | O_CREAT, S_IRUSR | S_IWUSR);
    if (fd == -1)
    {
        perror("open");
        return 1;
    }
    if (fstat(fd, &sb) == -1)
    {
        perror("fstat");
        return 1;
    }
 
    buf = mmap(0, sb.st_size, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (buf == MAP_FAILED)
    {
        perror("mmap");
        return 1;
    }
 
    if (close(fd) == -1)
    {
        perror("close");
        return 1;
    }
 
    for (len = 0; len < sb.st_size; ++len)
    {
        buf[len] = toupper(buf[len]);
        /*putchar(buf[len]);*/
    }
 
    if (munmap(buf, sb.st_size) == -1)
    {
        perror("munmap");
        return 1;
    }
    return 0;
}
#gcc –o t_mmap t_mmap.c
#strace ./t_mmap
open("/tmp/file_mmap", O_RDWR|O_CREAT, 0600) = 3 //open，返回fd=3
fstat64(3, {st_mode=S_IFREG|0644, st_size=18, ...}) = 0 //fstat, 即文件大小18
mmap2(NULL, 18, PROT_READ|PROT_WRITE, MAP_SHARED, 3, 0) = 0xb7867000 //mmap文件fd=3
close(3)                                = 0 //close文件fd=3
munmap(0xb7867000, 18)                  = 0  //munmap，移除0xb7867000这里的内存映射

虽然没有看到read/write写文件操作，但此时文件/tmp/file_mmap中的内容已由www.perfgeeks.com改变成了WWW.PERFGEEKS.COM .这里mmap的addr是0(NULL)，offset是18，并不是一个内存页的整数倍，即有4078bytes（4kb-18）内存空间被闲置浪费了。 

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <ctype.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
 
int main(int argc, char *argv[])
{
    int fd, len;
    char *buf;
    char *fname = "/tmp/file_mmap";
    ssize_t ret;
    struct stat sb;
 
    fd = open(fname, O_CREAT|O_RDWR, S_IRUSR|S_IWUSR);
    if (fd == -1)
    {
        perror("open");
        return 1;
    }
    if (fstat(fd, &sb) == -1)
    {
        perror("stat");
        return 1;
    }
 
    buf = malloc(sb.st_size);
    if (buf == NULL)
    {
        perror("malloc");
        return 1;
    }
    ret = read(fd, buf, sb.st_size);
    for (len = 0; len < sb.st_size; ++len)
    {
        buf[len] = toupper(buf[len]);
        /*putchar(buf[len]);*/
    }
 
    lseek(fd, 0, SEEK_SET);
    ret = write(fd, buf, sb.st_size);
    if (ret == -1)
    {
        perror("error");
        return 1;
    }
 
    if (close(fd) == -1)
    {
        perror("close");
        return 1;
}
free(buf);
    return 0;
}
#gcc –o t_rw t_rw.c
open("/tmp/file_mmap", O_RDWR|O_CREAT, 0600) = 3 //open, fd=3
fstat64(3, {st_mode=S_IFREG|0644, st_size=18, ...}) = 0 //fstat, 其中文件大小18
brk(0)                                  = 0x9845000  //brk, 返回当前中断点
brk(0x9866000)                          = 0x9866000  //malloc分配内存,堆当前最后地址
read(3, "www.perfgeeks.com\n", 18)      = 18 //read
lseek(3, 0, SEEK_SET)                   = 0 //lseek
write(3, "WWW.PERFGEEKS.COM\n", 18)     = 18 //write
close(3)                                = 0 //close

这里通过read()读取文件内容,toupper()后，调用write()写回文件。因为文件太小，体现不出read()/write()的缺点：频繁访问大文件，需要多个lseek()来确定位置。每次编辑read()/write()，在物理内存中的双份数据。当然，不可以忽略创建与维护mmap()数据结构的成本。需要注意：并没有具体测试mmap vs read/write，即不能一语断言谁孰谁劣，具体应用场景具体评测分析。你只是要记住：mmap内存映射文件之后，操作内存即是操作文件，可以省去不少系统内核调用(lseek, read, write)。

mmap() vs malloc()

使用strace调试的时候，通常可以看到通过mmap()创建匿名内存映射的身影。比如启用dl(‘apc.so’)的时候，就可以看到如下语句。
mmap2(NULL, 31457280, PROT_READ|PROT_WRITE, MAP_SHARED|MAP_ANONYMOUS, -1, 0) = 0xb5ce7000 //30M

通常使用mmap()进行匿名内存映射，以此来获取内存，满足一些特别需求。所谓匿名内存映射，是指mmap()的时候,设置了一个特殊的标志MAP_ANONYMOUS，且fd可以忽略(-1)。某些操作系统(像FreeBSD)，不支持标志MAP_ANONYMOUS，可以映射至设备文件/dev/zero来实现匿名内存映射。使用mmap()分配内存的好处是页面已经填满了0，而malloc()分配内存后，并没有初始化，需要通过memset()初始化这块内存。另外，malloc()分配内存的时候，可能调用brk()，也可能调用mmap2()。即分配一块小型内存(小于或等于128kb)，malloc()会调用brk()调高断点，分配的内存在堆区域，当分配一块大型内存(大于128kb),malloc()会调用mmap2()分配一块内存，与堆无关，在堆之外。同样的，free()内存映射方式分配的内存之后，内存马上会被系统收回，free()堆中的一块内存，并不会马上被系统回收，glibc会保留它以供下一次malloc()使用。

这里演示一下malloc()使用brk()和mmap2()。

/*
* file:t_malloc.c
*/
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
 
int main(int argc, char *argv)
{
    char *brk_mm, *mmap_mm;
 
    printf("-----------------------\n");
    brk_mm = (char *)malloc(100);
    memset(brk_mm, '\0', 100);
    mmap_mm = (char *)malloc(500 * 1024);
    memset(mmap_mm, '\0', 500*1024);
    free(brk_mm);
    free(mmap_mm);
    printf("-----------------------\n");
 
    return 1;
}
 
#gcc –o t_malloc t_malloc.c
#strace ./t_malloc
write(1, "-----------------------\n", 24-----------------------) = 24
brk(0)                                  = 0x85ee000
brk(0x860f000)                          = 0x860f000   //malloc(100)
mmap2(NULL, 516096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb7702000 //malloc(5kb)
munmap(0xb7702000, 516096)              = 0 //free(), 5kb 
write(1, "-----------------------\n", 24-----------------------) = 24

通过malloc()分别分配100bytes和5kb的内存，可以看出其实分别调用了brk()和mmap2()，相应的free()也是不回收内存和通过munmap()系统回收内存。

mmap()共享内存,进程通信

内存映射mmap()的另一个外常见的用法是，进程通信。相较于管道、消息队列方式而言，这种通过内存映射的方式效率明显更高，它不需要任务数据拷贝。这里，我们通过一个例子来说明mmap()在进程通信方面的应用。我们编写二个程序，分别是master和slave，slave根据master不同指令进行不同的操作。Master与slave就是通过映射同一个普通文件进行通信的。

/*
 *@file master.c
 */
root@liaowq:/data/tmp# cat master.c 
#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
 
void listen();
 
int main(int argc, char *argv[])
{
    listen();
    return 0;
}
 
void listen()
{
    int fd;
    char *buf;
    char *fname = "/tmp/shm_command";
 
    char command;
    time_t now;
 
    fd = open(fname, O_CREAT|O_RDWR, S_IRUSR|S_IWUSR);
    if (fd == -1)
    {
        perror("open");
        exit(1);
    }
    buf = mmap(0, 4096, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (buf == MAP_FAILED)
    {
        perror("mmap");
        exit(1);
    }
    if (close(fd) == -1)
    {
        perror("close");
        exit(1);
    }
 
    *buf = '0';
    sleep(2);
    for (;;)
    {
        if (*buf == '1' || *buf == '3' || *buf == '5' || *buf == '7')
        {
            if (*buf > '1')
                printf("%ld\tgood job [%c]\n", (long)time(&now), *buf);
            (*buf)++;
        }
        if (*buf == '9')
        {
            break;
        }
        sleep(1);
    }
 
    if (munmap(buf, 4096) == -1)
    {
        perror("munmap");
        exit(1);
    }
}
 
/*
 *@file slave.c
 */
#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
 
void ready(unsigned int t);
void job_hello();
void job_smile();
void job_bye();
char get_command(char *buf);
void wait();
 
int main(int argc, char *argv[])
{
    wait();
    return 0;
}
 
void ready(unsigned int t)
{
    sleep(t);
}
 
/* command 2 */
void job_hello()
{
    time_t now;
    printf("%ld\thello world\n", (long)time(&now));
}
 
/* command 4 */
void job_simle()
{
    time_t now;
    printf("%ld\t^_^\n", (long)time(&now));
}
 
/* command 6 */
void job_bye()
{
    time_t now;
    printf("%ld\t|<--\n", (long)time(&now));
}
 
char get_command(char *buf)
{
    char *p;
    if (buf != NULL)
    {
        p = buf;
    }
    else
    {
        return '0';
    }
    return *p;
}
 
void wait()
{
    int fd;
    char *buf;
    char *fname = "/tmp/shm_command";
 
    char command;
    time_t now;
 
    fd = open(fname, O_RDWR|O_CREAT, S_IRUSR|S_IWUSR);
    if (fd == -1)
    {
        perror("open");
        exit(1);
    }
    buf = mmap(0, 4096, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (buf == MAP_FAILED)
    {
        perror("mmap");
        exit(1);
    }
    if (close(fd) == -1)
    {
        perror("close");
        exit(1);
    }
 
    for (;;)
    {
        command = get_command(buf);
        /*printf("%c\n", command);*/
        switch(command)
        {
            case '0':
                printf("%ld\tslave is ready...\n", (long)time(&now));
                ready(3);
                *buf = '1';
                break;
            case '2':
                job_hello();
                *buf = '3';
                break;
            case '4':
                job_simle();
                *buf = '5';
                break;
            case '6':
                job_bye();
                *buf = '7';
                break;
            default:
                break;
        }
        if (*buf == '8')
        {
            *buf = '9';
            if (munmap(buf, 4096) == -1)
            {
                perror("munmap");
                exit(1);
            }
            return;
        }
        sleep(1);
    }
    if (munmap(buf, 4096) == -1)
    {
        perror("munmap");
        exit(1);
    }
}

执行master与slave，输出如下
root@liaowq:/data/tmp# echo “0″ > /tmp/shm_command
root@liaowq:/data/tmp# ./master
1320939445 good job [3]
1320939446 good job [5]
1320939447 good job [7]
root@liaowq:/data/tmp# ./slave
1320939440 slave is ready…
1320939444 hello world
1320939445 ^_^
1320939446 |<--

master向slave发出job指令2,4,6。slave收到指令后，执行相关逻辑操作，完成后告诉master，master知道slave完成工作后，打印good job并且发送一下job指令。master与slave通信，是通过mmap()共享内存实现的。

总结

1、 Linux采用了投机取巧的分配策略，用到时，才分配物理内存。也就是说进程调用brk()或mmap()时，只是占用了虚拟地址空间，并没有真正占用物理内存。这也正是free –m中used并不意味着消耗的全都是物理内存。
2、 mmap()通过指定标志(flag) MAP_ANONYMOUS来表明该映射是匿名内存映射，此时可以忽略fd，可将它设置为-1。如果不支持MAP_ANONYMOUS标志的类unix系统，可以映射至特殊设备文件/dev/zero实现匿名内存映射。
3、 调用mmap()时就决定了映射大小，不能再增加。换句话说，映射不能改变文件的大小。反过来，由文件被映射部分，而不是由文件大小来决定进程可访问内存空间范围(映射时，指定offset最好是内存页面大小的整数倍)。
4、通常使用mmap()的三种情况.提高I/O效率、匿名内存映射、共享内存进程通信。

相关链接
1.高性能网络编程
2.内存管理内幕
3.C语言指针与内存泄漏
4.read系统调用剖析
5. linux环境进程间通信:共享内存
6. <<Linux系统编程>> <<unix网络编程2>>



JoeBlackzqq
关注
专栏目录
【内存抖动】 memset 之虚拟内存到物理内存的转换
sssuperqiqi的博客
08-02 634
在开发中，发现使用memset后，有内存抖动问题，所以测试代码实测了一下。 问题现象：在memset后，物理内存增大 原因：编译器编译程序时，为其分配虚拟内存，程序实际运行时操作系统才会将其映射到物理内存。 测试代码： #include <iostream> #include <string.h> #include <unistd.h> using namespace std; void init_array(); #define STRING_LEN 255
Linux mmap内存映射
最新发布
m0_74282605的博客
03-13 666
mmap除了可以减少read,write等系统调用以外，还可以减少内存的拷贝次数，比如在read调用时，一个完整的流程是操作系统读磁盘文件到页缓存，再从页缓存将数据拷贝到read传递的buffer里，而如果使用mmap之后，操作系统只需要将磁盘读到页缓存，然后用户就可以直接通过指针的方式操作mmap映射的内存，减少了从内核态到用户态的数据拷贝。（1）实际拷贝数据前，需要建立映射信息，内存文件映射已经提前准备好了映射关系，内核调度好了进程内的内存块，交付给内核进行了预先处理，内存文件映射会消耗掉一些时间。
mmap与read/write的区别
weixin_30394333的博客
06-12 435
在介绍mmap和read/write之前，首先先要介绍一下基础知识，其中包括磁盘，文件系统，内存。 首先说一下文件系统，linux文件系统的三层结构想必大家多少都了解一些，每个进程中都有一个用户文件描述符表，表项指向一个全局的文件表中的某个表项，文件表表项有一个指向内存inode的指针，每个inode唯一标识一个文件。如果同时有多个进程打开同一文件，他们的用户文件描述符表...
[LINUX]mmap和read、write的区别
小蜗牛之家
11-22 1008
mmap和read、write的区别：文件数据在VFS系统中实际都是先读取到内核缓冲区，然后再拷贝到用户态缓冲区的，所以，实际上一份文件很可能在内存中存储了至少两份（一份内核，用于万一后续要用到，另一份是用户态内存，供用户自己去访问），这样做的优点是彻底的分离，但是缺点是其实对于空间、时间都是有很大的浪费的，时间浪费在拷贝操作上，尤其是大文件的读取，而空间浪费在多存了一份，mmap则是直接将内核空...
在linux中使用内存映射(mmap)操作文件
热门推荐
xxoo
11-15 2万+
在使用内存映射操作文件之前，我们先按照常规的方式来读写文件，这种方式操作如下： 1,打开或创建文件，得到文件描述符， 2,将内存中的数据以一定的格式和顺序写入文件，或者将文件中的数据以一定的格式和顺序读入到内存； 3,关闭文件描述符； 下边是按照常规方式操作固定格式的文件的方法，包含读写两个示例； #include #include #include #include #in
内存分配(mmap用法)
qq_43814197的博客
05-06 2712
Linux用户空间内存分配 void *malloc(size_t nbytes)//返回指向nbytes个字节内存的指针 viod *calloc(size_t cnt, size_t nbytes)//返回指向cnt* nbytes的空间(内容为0)的指针(即分配之后自动清零) void *realloc(void *ptr, size_t size)//改变前面分配的空间大小 void free(void *ptr)//释放动态分配的内存空间 Linux内核空间内存分配 按页分配函数: uns
浅谈Linux mmap内存映射
m0_73494896的博客
09-17 1216
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系，函数原型如下 void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。如下图所示。
mmap内存映射在应用和内核/驱动交互，进程间交互，大规模数据传输/大文件读写中的使用
kuodehai的专栏
01-23 1809
目录 一、Mmap用途、步骤实例、细节、及相关函数... 2 1、mmap函数主要用途有三个（应用和内核/驱动交互，进程间交互，大规模数据传输/大文件读写） 2 2、使用步骤：所有对mmap返回地址空间的操作只是在内存中才有意义,只有在调用了munmap或者msync时,才把内存中的相应内容写回磁盘文件. 3 3、mmap使用细节（理清 文件（被映射对象）大小、文件物理页大小、mmap映射区的长度length，映射区的可操作范围之间的关系和注意）... 3 4、mmap相关函数... 5 ...
Linux内核中—— mmap内存映射
m0_74282605的博客
11-24 367
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系，函数原型如下实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。如下图所示。
mmap与read/write操作文件的区别
wangkai6666的博客
06-08 831
转载：https://blog.csdn.net/u010325193/article/details/90495544 mmap与read/write操作文件的区别 基础知识: 磁盘，文件系统，内存。 每个进程中都有一个 user 文件描述符表，指向一个全局的文件表， 文件表表项有一个指向内存inode的指针，每个inode唯一标识一个文件。 struct task_struct { struct files_struct *files; // 指向一个全局的文件表 ... ... }; // Op
mmap2.rar_mmap
07-14
在linux环境下，用c语言编写的关于mmap使用方法的小程序
C语言中lseek()函数和fseek()函数的使用详解
09-03
主要介绍了C语言中lseek()函数和fseek()函数的使用详解,是C语言入门学习中的基础知识,需要的朋友可以参考下
使用mmap()和使用read()write()实现文件拷贝的对比
qq_34888036的博客
08-05 1413
最近上课老师说了这样一句话:mmap()内存映射可以实现文件的拷贝，并且速度明显快于一般的文件拷贝，于是 我试着实现了两种文件拷贝所花费时间的比较，首先看代码： include include include include include include include include include include defin...
C语言之lseek64报Invalid argument根本原因(六十八)
Android系统攻城狮
02-16 1321
如果传入的是(1ull
【Linux 内核 内存管理】mmap 系统调用源码分析 ① ( mmap 与 mmap2 系统调用 | Linux 内核中的 mmap 系统调用源码 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-16 1787
一、mmap 与 mmap2 系统调用、 二、Linux 内核中的 mmap 系统调用源码
从fread和mmap谈C++读文件的性能
blog
07-27 1万+
（关于Linux读文件的更深入理解，猛戳这里吧）         在进行大规模数据处理时，读文件很有可能成为速度瓶颈。不管你的CPU有4个核还是8个核，主频有2G还是3G，硬盘IO速度总是有个上限的。在本人最近的一次经历中，对一个11G的文本进行数据处理，一共耗时34.8秒，其中竟然有30.2秒用在访问IO上，占了所有时间的87%左右。         虽然说硬盘IO是有上限的，那么C++
mmap()第二部分
CoderChe
06-01 1042
老谢把mmap()讲完了，但是理解的很不完全，有好几个问题。 1.他说驱动程序中的mmap()建立页表进行地址映射，那么映射的是什么？是设备的物理地址，还是SDRAM中的地址？ 2.系统调用的mmap()也是负责把文件内容映射到进程的虚拟内存空间，那么这个文件是什么？是相对应的设备操作文件？ 下面罗列驱动中mmap()。 一般情况下，用户空间是不可能直接访问硬件设备的。但是驱动程序中的可实
【Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射 | munmap 删除内存映射 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-13 1038
一、mmap 创建内存映射代码示例、 1、fopen 打开或创建文件、 2、lseek 设置文件大小、 3、mmap 函数使用、 4、munmap 删除内存映射、 二、完整代码示例
hi3559 运行mtcnn例程错误 地址错误 CNN_Forward failed! not mmz address
JCYAO_的博客
01-19 1996
海思SVP例程里面有mtcnn的例程 HiSVP_PC_V1.2.2.0/software/sample_simulator/detection/mtcnn/ 在window环境ruyi studio能正常运行，但是在linux环境交叉编译后在海思平台上运行会报错。 首先是编译上面要增加如下选项： SET ( CMAKE_CXX_FLAGS "-std=c++11 -mcpu=cortex-a7 ...
Linux下的mmap：文件内存映射技术解析
"这篇文章探讨了Linux中的mmap文件内存映射机制，它是如何提供一种高效、共享的文件访问方式，并且介绍了虚拟内存（VM）系统在此过程中的作用。" Linux的mmap（memory map）系统调用允许进程将文件直接映射到其地址...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值