9.Linux网络编程-SYSTEM V共享内存

最新推荐文章于 2022-08-04 18:59:41 发布

知无涯99

最新推荐文章于 2022-08-04 18:59:41 发布

阅读量269

点赞数

分类专栏： Linux网络编程

本文链接：https://blog.csdn.net/m0_37582216/article/details/104618170

版权

Linux网络编程专栏收录该内容

15 篇文章 0 订阅

订阅专栏

一：内存映射文件
1.基本原理
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。
2.mmap使用细节
a、使用mmap需要注意的一个关键点是，mmap映射区域大小必须是物理页大小(page_size)的整倍数（32位系统中通常是4k字节）。原因是，内存的最小粒度是页，而进程虚拟地址空间和内存的映射也是以页为单位。为了匹配内存的操作，mmap从磁盘到虚拟地址空间的映射也必须是页。
b、内核可以跟踪被内存映射的底层对象（文件）的大小，进程可以合法的访问在当前文件大小以内又在内存映射区以内的那些字节。也就是说，如果文件的大小一直在扩张，只要在映射区域范围内的数据，进程都可以合法得到，这和映射建立时文件的大小无关。具体情形参见“情形三”。
c、映射建立之后，即使文件关闭，映射依然存在。因为映射的是磁盘的地址，不是文件本身，和文件句柄无关。同时可用于进程间通信的有效地址空间不完全受限于被映射文件的大小，因为是按页映射。

在上面的知识前提下，我们下面看看如果大小不是页的整倍数的具体情况：

情形一：一个文件的大小是5000字节，mmap函数从一个文件的起始位置开始，映射5000字节到虚拟内存中。

分析：因为单位物理页面的大小是4096字节，虽然被映射的文件只有5000字节，但是对应到进程虚拟地址区域的大小需要满足整页大小，因此mmap函数执行后，实际映射到虚拟内存区域8192个字节，5000~8191的字节部分用零填充。映射后的对应关系如下图所示：
在这里插入图片描述
此时：
（1）读/写前5000个字节（0~4999），会返回操作文件内容。
（2）读字节5000_{8191时，结果全为0。写5000}8191时，进程不会报错，但是所写的内容不会写入原文件中。
（3）读/写8192以外的磁盘部分，会返回一个SIGSECV错误。

情形二：一个文件的大小是5000字节，mmap函数从一个文件的起始位置开始，映射15000字节到虚拟内存中，即映射大小超过了原始文件的大小。

分析：由于文件的大小是5000字节，和情形一一样，其对应的两个物理页。那么这两个物理页都是合法可以读写的，只是超出5000的部分不会体现在原文件中。由于程序要求映射15000字节，而文件只占两个物理页，因此8192字节~15000字节都不能读写，操作时会返回异常。如下图所示：
在这里插入图片描述
此时：
（1）进程可以正常读/写被映射的前5000字节(0~4999)，写操作的改动会在一定时间后反映在原文件中。
（2）对于5000~8191字节，进程可以进行读写过程，不会报错。但是内容在写入前均为0，另外，写入后不会反映在文件中。
（3）对于8192~14999字节，进程不能对其进行读写，会报SIGBUS错误。
（4）对于15000以外的字节，进程不能对其读写，会引发SIGSEGV错误。

情形三：一个文件初始大小为0，使用mmap操作映射了1000*4K的大小，即1000个物理页大约4M字节空间，mmap返回指针ptr。

分析：如果在映射建立之初，就对文件进行读写操作，由于文件大小为0，并没有合法的物理页对应，如同情形二一样，会返回SIGBUS错误。
但是如果，每次操作ptr读写前，先增加文件的大小，那么ptr在文件大小内部的操作就是合法的。例如，文件扩充4096字节，ptr就能操作ptr ~ [ (char)ptr + 4095]的空间。只要文件扩充的范围在1000个物理页（映射范围）内，ptr都可以对应操作相同的大小。

这样，方便随时扩充文件空间，随时写入文件，不造成空间浪费。

3.函数介绍

void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
/*
@mmap：用来文件映射共享空间
@void *：成功执行时，mmap()返回被映射区的指针。失败时，mmap()返回MAP_FAILED[其值为(void *)-1]， error被设为以下的某个值
	EACCES：访问出错
	EAGAIN：文件已被锁定，或者太多的内存已被锁定
	EBADF：fd不是有效的文件描述词
	EINVAL：一个或者多个参数无效
	ENFILE：已达到系统对打开文件的限制
	ENODEV：指定文件所在的文件系统不支持内存映射
	ENOMEM：内存不足，或者进程已超出最大内存映射数量
	EPERM：权能不足，操作不允许
	ETXTBSY：已写的方式打开文件，同时指定MAP_DENYWRITE标志
	SIGSEGV：试着向只读区写入
	SIGBUS：试着访问不属于进程的内存区
@start：映射区的开始地址
@length：映射区的长度
@prot：期望的内存保护标志，不能与文件的打开模式冲突。是以下的某个值，
可以通过or运算合理地组合在一起
	PROT_EXEC ：页内容可以被执行
	PROT_READ ：页内容可以被读取
	PROT_WRITE ：页可以被写入
	PROT_NONE ：页不可访问
@flags：指定映射对象的类型，映射选项和映射页是否可以共享。
它的值可以是一个或者多个以下位的组合体:
	MAP_FIXED //使用指定的映射起始地址，如果由start和len参数指定的内存区重叠于现存的映射空间，重叠部分将会被丢弃。如果指定的起始地址不可用，操作将会失败。并且起始地址必须落在页的边界上。
	MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入，相当于输出到文件。直到msync()或者munmap()被调用，文件实际上不会被更新。
	MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的，只能使用其中一个。
	MAP_DENYWRITE //这个标志被忽略。
	MAP_EXECUTABLE //同上
	MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留，对映射区修改的可能会得到保证。当交换空间不被保留，同时内存不足，对映射区的修改会引起段违例信号。
	MAP_LOCKED //锁定映射区的页面，从而防止页面被交换出内存。
	MAP_GROWSDOWN //用于堆栈，告诉内核VM系统，映射区可以向下扩展。
	MAP_ANONYMOUS //匿名映射，映射区不与任何文件关联。
	MAP_ANON //MAP_ANONYMOUS的别称，不再被使用。
	MAP_FILE //兼容标志，被忽略。
	MAP_32BIT //将映射区放在进程地址空间的低2GB，MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。
	MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。
	MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读，只为已存在于内存中的页面建立页表入口。

@fd：有效的文件描述符
@offset：被映射对象内容的起点
 */

int munmap( void * addr, size_t len )
/*
@munmap：解决文件与内存映射关系
@int：成功执行时，munmap()返回0。失败时，munmap返回-1，error返回标志和mmap一致
@addr：被映射区的指针
@len：映射区的长度
 */

int msync( void *addr, size_t len, int flags )
/*
@msync：实现磁盘上文件内容与共享内存区的内容立即一致；
@int：成功执行时，msync()返回0。失败时，msync返回-1；
@addr：被映射区的指针
@len：映射区的长度
@flags：和mmap的flag一致
 */

4.实例

//创建文件
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <sys/stat.h>

//写内存到文件
struct student{
	char name[20];
	short age;
	float score;
	char sex;
};

/*
 * 补充知识：
 * 系统默认umask为0022即0000010010；取反为1111101101；
 * 如果文件权限mode为：0110110110
 * 那么文件的最终权限为：mode&(~umask)=0110100100;即-rw-r--r--;
 * */
int main()
{
	struct student stu[5];
	mode_t mode;
	mode=umask(000);	//
	int fd=open("user.dat",O_RDWR|O_CREAT|O_EXCL,00666);
	if (fd==-1)
	{
		printf("open:%m\n");
		umask(mode);
		exit(-1);
	}
	printf("ok\n");
	memset(stu,0,sizeof(stu));
	int i=0;
	for(; i<5; i++)
	{
		memcpy(stu[i].name,"tom",strlen("tom")+1);
		stu[i].age=i;
		stu[i].score=89.12f;
		stu[i].sex='m';
		write(fd,&stu[i],sizeof(stu[i]));
	}
	close(fd);
	umask(mode);
	return 0;
}

//通过映射到内存来读取文件内容
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/stat.h>

typedef struct{
	char name[20];
	short age;
	float score;
	char sex;
}student;

int main()
{
	student *p,*pend;
	//打开文件描述符号
	int fd;
	/*打开文件*/
	fd = open("user.dat",O_RDWR);
	if (fd == -1)
	{//文件不存在
		fd = open("user.dat",O_RDWR|O_CREAT,0666);
		if (fd == -1)
		{
			printf("打开或创建文件失败:%m\n");
			exit(-1);
		}
	}
	//打开文件ok，可以进行下一步操作
	printf("open ok!\n");
	//获取文件的大小，映射一块和文件大小一样的内存空间，如果文件比较大，可以分多次，一边处理一边映射；
	struct stat st; //定义文件信息结构体
	/*取得文件大小*/
	int r = fstat(fd,&st);
	if (r == -1)
	{
		printf("获取文件大小失败:%m\n");
		close(fd);
		exit(-1);
	}
	int len=st.st_size;
	/*把文件映射成虚拟内存地址*/
	p = (student*)mmap(NULL, len, PROT_READ|PROT_WRITE,MAP_SHARED, fd, 0);
	if (p==NULL || p==(void*)-1)
	{
		printf("映射失败:%m\n");
		close(fd);
		exit(-1);
	}
	/*定位到文件开始*/
	pend = p;
	/*通过内存读取记录*/
	int i=0;
	while (i<(len/sizeof(student)))
	{
		printf("第%d个条\n",i);
		printf("name=%s\n",p[i].name);
		printf("age=%d\n",p[i].age);
		printf("score=%f\n",p[i].score);
		printf("sex=%c\n",p[i].sex);
		i++;
	}
	/*卸载映射*/
	munmap(p,len);
	/*关闭文件*/
	close(fd);
}

二：system v共享内存
注意：在IPC的通信模式下，不管是共享内存、消息队列还是信号灯，每个IPC的对象都有唯一的名字，称为"键(key)"。通过"键"，进程能够识别所用的对象。"键"与IPC对象的关系就如同文件名称于文件，通过文件名，进程能够读写文件内的数据，甚至多个进程能够公用一个文件。而在IPC的通信模式下，通过"键"的使用也能使得一个IPC对象能为多个进程所共用。

system V IPC 机制下的共享内存本质是一段特殊的内存区域，进程间需要共享的数据被放在该共享内存区域中，所有需要访问该共享区域的进程都要把该共享区域映射到本进程的地址空间中去。共享内存允许一个或多个进程通过同时出现在他们的虚拟地址空间的内存进行通信，而这块虚拟内存的页面被每个共享进程的页表条目所引用，同时并不需要再所有进程的虚拟内存都有相同的地址。

共享内存的注意点：
1.System V共享内存是一种最为搞笑的进程间通信方式，进程可以直接读写内存，而不需要任何数据的拷贝。
2.为了在多个进程间交换信息，内核专门留出了一块内存区，可以由需要访问的进程将其映射到自己的私有地址空间。进程就可以直接读写这一块内存而不要进行数据的拷贝，从而大大提高效率。
3.由于多个进程共享一段内存，因此也需要依靠某种同步机制。

struct shmid_ds
{
    struct ipc_perm  shm_perm;
    size_t           shm_segsz;  //共享内存区大小
    pid_t            shm_lpid;
    pid_t            shm_cpid;
    shmatt_t         shm_nattch;
    shmat_t          shm_cnattch;
    time_t           shm_atime;
    time_t           shm_dtime;
    time_t           shm_ctime;
};

#include<sys/ipc.h>
#include<sys/shm.h>

int shmget(key_t key, size_t size, int shmflg)
@shmget函数：获取一块共享内存
@int ：成功返回非负整数，是该共享内存的标识码，即id，失败返回-1
@key：整数或者IPC_PRIVATE（0），共享内存的名字。
	IPC_PRIVATE，表示私有的，意味共享内存只能用于亲缘进程通信。
@size：申请内存块的大小，内存分配是以页为单位的；
@shmflg：九个权限标志构成，它们的用法和创建文件时使用的mode模式标志是一样的；
如果单独使用IPC_CREAT，则shmget()要么返回一个新创建的共享内存的标识符，要么返回具有相同关键字值的标识符；
如果IPC_EXCL和IPC_CREAT一起使用，如果队列已经存在则返回一个失败值-1，否则创建一个新的消息队列，IPC_EXCL单独使用是没有用处的。

#include<sys/types.h>
#include<sys/shm.h>

void * shmat(int shmid, const void *shmaddr, int shmflg);
@shmat函数：将标示符为shmid共享内存映射到调用进程的地址空间中
@void *：调用成功返回映射后的地址，出错返回(void *)-1
@shmid：要映射的共享内存区标示符
@shmaddr：将共享内存映射到指定地址(若为NULL，则表示由系统自动完成映射)
@shmflg：shmflg：SHM_RDONLY 共享内存只读，默认0：共享内存可读写

int shmdt(const void * shmadr);

@shmdt函数：撤销共享内存与用户进程之间的映射，当一个进程不再需要共享内存段时，
它将调用shmdt()系统调用取消这个段，但是这并不是从内核真正地删除这个段，而是把相关shmid_ds结构的shm_nattch域的值减1，
当这个值为0时，内核才从物理上删除这个共享段
@int：成功返回非负整数，即id，失败返回-1
@shmaddr：将共享内存映射到指定地址(若为NULL，则表示由系统自动完成映射)

#inlcude<sys/ipc.h>
#include<sys/shm.h>

int shmctl(int shmid, int cmd, struct shmid_ds *buf);
@shmctl函数：控制共享内存(&删除)
@int：成功返回非负整数，失败返回-1
@int：成功返回0，失败返回-1
@cmd：操作类型，可取值IPC_STAT或者IPC_SET或者IPC_RMID
	IPC_STAT：获取共享内存的状态，并将结果输出到buf中
	IPC_SET：在进程有足够权限的条件下，把共享内存的当前关联值设置为shmid_ds数据结构中给出的值，通过导入buf的值进行设置
	IPC_RMID：删除消息队列。（此时buf可置为null）
@buf：输出输入共享内存状态的空间

/*
1: 创建一块共享内存
2：连接到共享内存，并向共享内存中写入数据
3：脱离该共享内存区域
*/

#include <sys/ipc.h>
#include <sys/shm.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <stdio.h>
#include <stdlib.h>

using namespace std;
#define ERR_EXIT(m) \
    do { \
        perror(m); \
        exit(EXIT_FAILURE); \
    } while(0)

struct Student{
	int age;
	char name[12];
};

int main(int argc, char *argv[])
{
    int shmid = shmget(0x1111, sizeof(Student), 0666|IPC_CREAT);
    if (shmid == -1)
    {
    	ERR_EXIT("shmget");
    }

    Student *wPtr = (Student *)shmat(shmid, NULL, 0);
    if (wPtr == NULL)
    	ERR_EXIT("shmat");;
    memset(wPtr, 0, sizeof(Student));
    wPtr->age = 18;
    strncpy(wPtr->name, "china", sizeof(Student)-1);

    //脱离该共享内存区域的映射
    shmdt(wPtr);
    wPtr = NULL;

    //获取共享内存地址并打印
    Student *rPtr = (Student *)shmat(shmid, NULL, 0);
    if (rPtr == NULL)
    	ERR_EXIT("shmat");;
    printf("name=%s, age=%d\n", rPtr->name, rPtr->age);

    //删除该共享内存区域
    sleep(5);
    shmctl(shmid, IPC_RMID, NULL);
    printf("remove shm already\n");
    return 0;
}
结果：
root@epc:~# ipcs -m

------ Shared Memory Segments --------
key        shmid      owner      perms      bytes      nattch     status      
0x00001111 65536      root       666        16         1 
root@epc:/home/share/project/test/linux/demo# ./server 
name=china, age=18
remove shm already
root@epc:/home/share/project/test/linux/demo#

知无涯99

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
9.Linux网络编程-SYSTEM V共享内存

一：内存映射文件1.基本原理mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间...
复制链接

扫一扫

专栏目录