malloc 和 mmap 的内存,到底哪个性能好?

测试MALLOC 与 MMAP之间读写的性能差异, 测试方法如下:

1)编写两个MALLOC程序,一个是随机读,一个是随机写,获取1G内存空间,空间中存放数据结构为 一个总大小为28字节的数据结构,包括一个16字节的字符串, 3个INT数,用于模拟索引结构

2)循环100W次,随机获取1G空间范围内的数, 以获取到的随机数为下标,对MALLAC获取到的内存地址进行随机写入 和 读取 并打印完成所需的时间, 单位为微妙

3)编写两个MMAP程序,同1) , 2), 加入MAP_LOCKED参数

4)分两组执行4个程序 对比  malloc 和 mmap 在 写入 和 读取上的性能差异 , 为避免偶然性 分别执行10次

5)测试环境: 64位LINUX 测试时间: 2009 03 07 凌晨 5:00 确认服务器无负载 测试期间磁盘无IO

6)测试程序地址:/usr/home/pangfan/test/

malloc_read        mmap_read              malloc_write          mmap_write

1      263054                223693                    941165                  155947

2      266113                223208                    945620                  155674

3      263399                223636                    941501                  167700

4      264545                223759                    942489                  156133

5      264658                223314                    942488                  156113

6      264792                223385                    941523                  155709

7      267490                224172                    944995                  156226

8      263867                222616                    942918                  156163

9      263740                225278                    943633                  155939

10    264972                223315                    943021                  156013

测试结论:

1.在读取方面 两者差异较小,MMAP性能略高

2.在写入方面 两者差距较大,MMAP完全取胜利

 

UNIX网络编程第二卷进程间通信对mmap函数进行了说明。该函数主要用途有三个：
1、将一个普通文件映射到内存中，通常在需要对文件进行频繁读写时使用，这样用内存读写取代I/O读写，以获得较高的性能；
2、将特殊文件进行匿名内存映射，可以为关联进程提供共享内存空间；
3、为无关联的进程提供共享内存空间，一般也是将一个普通文件映射到内存中。


头文件：
    #include <sys/mman.h>

函数：void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize);

参数start：指向欲映射的内存起始地址，通常设为 NULL，代表让系统自动选定地址，映射成功后返回该地址。

参数length：代表将文件中多大的部分映射到内存。

参数prot：映射区域的保护方式。可以为以下几种方式的组合：
PROT_EXEC 映射区域可被执行
PROT_READ 映射区域可被读取
PROT_WRITE 映射区域可被写入
PROT_NONE 映射区域不能存取

参数flags：影响映射区域的各种特性。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。
MAP_FIXED 如果参数start所指的地址无法成功建立映射时，则放弃映射，不对地址做修正。通常不鼓励用此旗标。
MAP_SHARED对映射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。
MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制，即私人的“写入时复制”（copy on write）对此区域作的任何修改都不会写回原来的文件内容。
MAP_ANONYMOUS建立匿名映射。此时会忽略参数fd，不涉及文件，而且映射区域无法和其他进程共享。
MAP_DENYWRITE只允许对映射区域的写入操作，其他对文件直接写入的操作将会被拒绝。
MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。

参数fd：要映射到内存中的文件描述符。如果使用匿名内存映射时，即flags中设置了MAP_ANONYMOUS，fd设为-1。有些系统不支持匿名内存映射，则可以使用fopen打开/dev/zero文件，然后对该文件进行映射，可以同样达到匿名内存映射的效果。

参数offset：文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。

返回值：

若映射成功则返回映射区的内存起始地址，否则返回MAP_FAILED(－1)，错误原因存于errno 中。

错误代码：

EBADF 参数fd 不是有效的文件描述词
EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读，使用MAP_SHARED则要有PROT_WRITE以及该文件要能写入。
EINVAL 参数start、length 或offset有一个不合法。
EAGAIN 文件被锁住，或是有太多内存被锁住。
ENOMEM 内存不足。
系统调用mmap()用于共享内存的两种方式：

（1）使用普通文件提供的内存映射：

适用于任何进程之间。此时，需要打开或创建一个文件，然后再调用mmap()

典型调用代码如下：

fd=open(name, flag, mode); if(fd<0) ...

ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);

通过mmap()实现共享内存的通信方式有许多特点和要注意的地方，可以参看UNIX网络编程第二卷。

（2）使用特殊文件提供匿名内存映射：

适用于具有亲缘关系的进程之间。由于父子进程特殊的亲缘关系，在父进程中先调用mmap()，然后调用 fork()。那么在调用fork()之后，子进程继承父进程匿名映射后的地址空间，同样也继承mmap()返回的地址，这样，父子进程就可以通过映射区域进行通信了。注意，这里不是一般的继承关系。一般来说，子进程单独维护从父进程继承下来的一些变量。而mmap()返回的地址，却由父子进程共同维护。对于具有亲缘关系的进程实现共享内存最好的方式应该是采用匿名内存映射的方式。此时，不必指定具体的文件，只要设置相应的标志即可。

#include <unistd.h> #include <stdio.h> #include <sys/mman.h> #include <fcntl.h> #include <stdlib.h> //定义存放记录的结构体 typedef struct {     int index; //编号     char text[10]; //内容 } RECORD; #define SIZE (50) #define EDIT_INDEX (10) int main(void) {     RECORD record, *p_mapped_memory_addr;     int i, fd;     FILE *fp;     //创建文件并写入测试数据     fp = fopen("records.dat", "w+");     for (i = 0; i < SIZE; i++)     {         record.index = i;         sprintf(record.text, "No.%d", i);         fwrite(&record, sizeof(record), 1, fp);//因为字节序对齐，在32位机上，sizeof(record)＝16，并不是14。     }     fclose(fp);     printf("Ok, write %d records to the file: records.dat .\n", SIZE);     //将第一30条记录编号修改为300，并相应地修改其内容。     //采用传统方式     fp = fopen("records.dat", "r+");     fseek(fp, EDIT_INDEX * sizeof(record), SEEK_SET);     fread(&record, sizeof(record), 1, fp);     record.index = EDIT_INDEX*10;     sprintf(record.text, "No.%d", record.index);     fseek(fp, EDIT_INDEX * sizeof(record), SEEK_SET);     fwrite(&record, sizeof(record), 1, fp);     fclose(fp);     printf("Ok, edit the file of records.dat using traditional method.\n");     /     //同样的修改，这次使用内存映射方式。     //将记录映射到内存中     fd = open("records.dat", O_RDWR);     p_mapped_memory_addr = (RECORD *)mmap(0, SIZE * sizeof(record), PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);     //修改数据     p_mapped_memory_addr[EDIT_INDEX].index = EDIT_INDEX*10;     sprintf(p_mapped_memory_addr[EDIT_INDEX].text, "No.%d",             p_mapped_memory_addr[EDIT_INDEX].index);     /* Synchronize the region starting at ADDR and extending LEN bytes with the      file it maps. Filesystem operations on a file being mapped are      unpredictable before this is done. Flags are from the MS_* set.      This function is a cancellation point and therefore not marked with      __THROW. extern int msync (void *__addr, size_t __len, int __flags);      */     //将修改写回映射文件中(采用异步写方式)     msync((void *)p_mapped_memory_addr, SIZE * sizeof(record), MS_ASYNC);     /* Deallocate any mapping for the region starting at ADDR and extending LEN      bytes. Returns 0 if successful, -1 for errors (and sets errno).      extern int munmap (void *__addr, size_t __len) __THROW;      */     //释放内存段     munmap((void *)p_mapped_memory_addr, SIZE * sizeof(record));     printf("Ok, edit the file of records.dat using mmap method.\n");     //关闭文件     close(fd);          return 0; }