目录
以下均用共享内存指代 shared memory
先决条件
你应该对以下内容有一定的了解
- 虚拟内存
- 进程的基本概念
- 什么是进程间通信
共享内存介绍
共享内存是一种进程间的通信机制,并且也是最底层的一种机制(其他的通信机制还有管道,消息队列等)。
进程之间通过访问一块共享的空间,来进行数据的通信(交换)。具体来讲,就是将一份物理内存映射到不同进程各自的虚拟地址空间,这样每个进程都可以读写这片相同的物理内存。
共享内存是速度最快的一种进程间通信(IPC)方式,它直接对内存进行存取,比操作系统提供的读写系统服务更快。
由上面的描述我们发现,当多个进程对同一片空间进行读写时必然会出现同步的问题,所以一般共享内存会和信号量或者锁机制一同使用,保证数据的一致性。
在 Win 下实现共享内存
共享内存在 Win 下通过 FileMapping 技术实现,关于 FileMapping 的介绍,建议先阅读补充部分,下面我们先来通过实际的代码感受一下效果。
首先,我们假设当下只有两个进程 P1,P2,并实现以下功能。
P1 进程负责创建共享空间,写入数据。P2 进程找到这个共享空间,读取数据。最终两个进程都关闭。
开发环境
- os:window 10
- IDE:visual studio 2015
Process1
对于 P1 来说,它只需要实现以下几个函数,就可以完成上述流程。
- CreateFileMapping
- MapViewOfFile
- 写入数据的函数(自定义)
- UnmapViewOfFile
- CloseHandle
【注】对于这些函数更详细的解释,大家可以通过参考部分的链接寻找。
CreateFileMapping
为指定文件创建或打开命名或未命名文件映射对象。
// CreateFileMappingA 中 A 表示 ASCII 字符集,如果你的开发环境字符集是 Unicode,则使用 W 替换 A 作为结尾
// 或者直接使用 CreateFileMapping(它已经被定义成了宏)会自动根据你的项目中的字符集选择使用 A 还是 W
HANDLE CreateFileMappingA(
[in] HANDLE hFile,
[in, optional] LPSECURITY_ATTRIBUTES lpFileMappingAttributes,
[in] DWORD flProtect,
[in] DWORD dwMaximumSizeHigh,
[in] DWORD dwMaximumSizeLow,
[in, optional] LPCSTR lpName
);
参数解释
- hFile:用于创建文件映射对象的文件句柄,将磁盘上的文件映射到物理内存地址空间中。但在实现共享内存时,我们不需要去拿硬盘中的文件,所以一般这个值填
INVALID_HANDLE_VALUE
,表示共享未与文件关联的内存 - lpFileMappingAttributes:该参数决定返回的句柄是否可以被子进程继承,如果为 NULL,则不能。
- flProtect:指定文件映射对象的页面保护。对象的所有映射视图都必须与此保护兼容。当取
PAGE_READWRITE
时,表示对文件映射对象有可读可写的权限。 - dwMaximumSizeHigh:文件映射的最大长度的高32位。
- dwMaximumSizeLow:文件映射的最大长度的低32位。如这个参数和dwMaximumSizeHigh都是零,就用磁盘文件的实际长度。
- lpName:给这个文件映射对象取一个名字。
返回值 - 如果成功,则返回文件映射对象的句柄。
- 如果失败则返回 NULL。
【注】[in] 表示传入的参数
【注】如果你对句柄和内核对象不太熟悉,可以阅读《Windows 核心编程》的相关章节
【注】不能映射长度为 0 的文件
MapViewOfFile
将文件映射对象映射进调用的进程的虚拟地址空间。
LPVOID MapViewOfFile(
[in] HANDLE hFileMappingObject,
[in] DWORD dwDesiredAccess,
[in] DWORD dwFileOffsetHigh,
[in] DWORD dwFileOffsetLow,
[in] SIZE_T dwNumberOfBytesToMap
);
参数解释
- hFileMappingObject:填文件映射对象返回的句柄,即上面的函数或者
OpenFileMapping
的返回值。 - dwDesiredAccess:页面保护,用来控制接入文件映射对象的权限,其中
FILE_MAP_ALL_ACCESS
拥有读写权限。 - dwFileOffsetHigh:表示文件映射起始偏移的高32位。
- dwFileOffsetLow: 表示文件映射起始偏移的低32位。
- dwNumberOfBytesToMap :文件中要映射的字节数。为 0 表示映射整个文件映射对象,注意,它的单位是字节。
返回值 - 如果函数成功,则返回值是映射视图的起始地址。
- 否则返回 NULL。
UnmapViewOfFile
当完成对共享内存的操作后,你应该完成对应的关闭操作,第四步与第二步是对应的,即取消文件的视图映射。
取消文件映射后,进程中该部分的地址会被释放(你可以理解成 free 操作),然后该部分的内存可以被用于其他分配。
这里还要补充以下在关闭文件映射后,修改的内容并不会被立即写入磁盘中,首先它会等所有链接到文件映射对象的文件视图都关闭掉,然后即使都关闭掉,这些内容也可能缓存在内存中,以“懒惰”的方式写入磁盘。
下面来看看 UnmapViewOfFile
这个函数
BOOL UnmapViewOfFile(
[in] LPCVOID lpBaseAddress
);
参数解析
- lpBaseAddress:指向要取消映射的文件视图,这是一个指针,这个值必须是前面调用的
MapViewOfFile
或者MapViewOfFileEx
函数的返回值。
返回值
- 如果函数成功,则返回非零值
- 如果函数失败,则返回零值
CloseHandle
用于关闭打开的文件句柄。
BOOL CloseHandle(
[in] HANDLE hObject
);
参数解释
- hObject:有效的打开了的句柄。
Process2
P2 中的函数的顺序和 P1 中大致一样,唯一的改变是,我们通过 P2 来打开(open)一个由 P1 创建好的文件映射对象。
- OpenFileMapping
- MapViewOfFile
- 读取数据的函数(自定义)
- UnmapViewOfFile
- CloseHandle
OpenFileMapping
打开一个命名的文件映射对象。
HANDLE OpenFileMappingA(
[in] DWORD dwDesiredAccess,
[in] BOOL bInheritHandle,
[in] LPCSTR lpName
);
参数解释
- dwDesiredAccess:访问文件映射对象的权限,我们可以取
FILE_MAP_ALL_ACCESS
,即可读可写。 - bInheritHandle:文件句柄能否被继承,为 TRUE 时可以被继承,反之不能。
- lpName:要打开的文件映射对象的名字。
示例
Process1
#include "stdafx.h"
#include <windows.h>
#include <iostream>
using namespace std;
int main()
{
// 定义共享数据,在这里设置了一个 25MB 大小的数据用于模拟磁盘上的文件
long *lpBigData_A = (long *)malloc(sizeof(long) * BIG_BUF_SIZE); // 25 MB
// 填充数据内容
for (long j = 0; j < BIG_BUF_SIZE; j++)
{
lpBigData_A[j] = j;
}
// 创建共享文件句柄
HANDLE hMapFile = CreateFileMapping(
INVALID_HANDLE_VALUE, // 物理文件句柄
NULL, // 默认安全级别
PAGE_READWRITE, // 可读可写
0, // 高位文件大小
BIG_BUF_SIZE, // 低位文件大小
L"ShareMemory" // 共享内存名称
);
// 映射缓存区视图 , 得到指向文件映射视图的指针
LPVOID lpBase = MapViewOfFile(
hMapFile, // 共享内存的句柄
FILE_MAP_ALL_ACCESS, // 可读写许可
0,
0,
BIG_BUF_SIZE // 本例中,填写 BIG_BUF_SIZE 的效果等价于
// 此处填 0
);
// 将数据拷贝到共享内存
memcpy(lpBase, lpBigData_A, BIG_BUF_SIZE * 4); // BIG_BUF_SIZE 乘以 4 是因为该参数为字节数
// 而开辟的内存是 long 型,long 在 win10 下是 4 字节
// 挂起,等待其它进程读取,因为示例只演示两个进程
// 这里不挂起的话,将直接执行下面的取消映射函数,那样数据就不在了
Sleep(3000);
// 解除文件映射
UnmapViewOfFile(lpBase);
// 关闭内存映射文件对象句柄
CloseHandle(hMapFile);
// other operationi
free(lpBigData_A);
printf("A - copy finish");
system("pause");
return 0;
}
Process2
#include <iostream>
#include <windows.h>
#include "myData.h"
using namespace std;
int main()
{
// 为读取数据设置一个坑位
long *lpBigData_B = (long *)malloc(sizeof(long) * BIG_BUF_SIZE); // 25 MB
// 打开共享的文件对象
HANDLE hMapFile = OpenFileMapping(FILE_MAP_ALL_ACCESS, NULL, L"ShareMemory");
if (hMapFile)
{
LPVOID lpBase = MapViewOfFile(hMapFile, FILE_MAP_ALL_ACCESS, 0, 0, 0);
// 将共享内存数据拷贝出来
memcpy(lpBigData_B, lpBase, BIG_BUF_SIZE * 4); // BIG_BUF_SIZE 乘以 4 是因为该参数为字节数
// 而开辟的内存是 long 型,long 在 win10 下是 4 字节
// 解除文件映射
UnmapViewOfFile(lpBase);
// 关闭内存映射文件对象句柄
CloseHandle(hMapFile);
free(lpBigData_B);
lpBigData_B = NULL;
system("pause");
}
else
{
// 打开文件映射句柄失败
printf("打开文件映射句柄失败");
}
return 0;
}
【注】演示程序中用了 memcpy 函数,这个函数的第三个参数是填入字节数,是一个坑,具体参考《【学习笔记】memcpy_s 函数与坑》
补充
File Mapping
在 win 下,共享内存通过 File Mapping(以下均用文件映射指代 File Mapping)实现。我们通过一幅图来解释什么是文件映射。
【注】需要知道的是,“文件”在计算机中具有特殊的含义,这里不展开,你只需要知道,“文件”是存放在磁盘中的。
由上图可知,中间的文件映射对象(File Mapping Object),在文件(硬盘上)和进程的虚拟地址空间中建立起了一层联系。文件位于磁盘上,文件映射对象位于物理内存中,文件视图(File View)位于进程的虚拟内存中。
进程就是通过其虚拟内存中的文件视图来修改磁盘中的文件内容,而无须通过读文件,写文件的方式修改位于磁盘上的文件。
文件映射对象可以获取文件的全部或部分内容。它获取的就是磁盘上的文件的内容。当系统换出文件映射对象的页面时,对文件映射对象所做的任何更改都会写入文件。
文件视图是进程虚拟地址空间的一部分,进程通过它来访问文件的
文件视图可以包含文件映射对象的全部或部分。一个进程通过文件视图操作实际的文件的内容。一个进程可以为一个文件映射对象创建多个视图。每个进程创建的文件视图驻留在该进程的虚拟地址空间中。当进程需要文件的一部分而不是当前文件视图中的数据时,它可以取消映射当前文件视图,然后创建一个新的文件视图。
File Mapping Object 的最终清除。假设我们有 A,B,C 三个进程,A 进程向共享内存中写入数据,B,C 从共享内存中读取数据,假设 B 先读取,并在 B 的代码结束前调用 UnmapViewOfFile(lpBase);
CloseHandle(hMapFile);
用来切断 B 同共享内存的连接,但是这并不会清除共享对象的内容,当 C 此时进行读取时,它依然可以正常读取内容。
在 win 中,共享内存真正“清除”是当所有与之相关的进程都切断连接,即 A,B,C 进程都执行了上述的关闭函数,此时共享内存才彻底“清除”。(关于“清除”的这一部分,可以参考《Windows 核心编程》中关于内核的章节,具体细节我记不太清楚,读者可以自行考证一下)
【注】文件映射对象位于实际的物理内存中,各个进程的虚拟地址通过文件视图来连接到这个文件映射对象,以操作这些来自磁盘的文件内容