Linux使用内存映射文件做内存池

55 篇文章 0 订阅
14 篇文章 0 订阅

      因为最近项目中需要实现一个临时数据高速存储,所以最近对内存映射文件做了一下了解,写出来与大家分享一下,因为个人水平有限也许会有这样那样的问题也恳请大家指正。

     mmap是linux内存映射文件,是将文件映射成为内存地址空间的一种方式,其实,方法很简单。

memfd = open(MEMFILE, O_RDWR | O_CREAT, S_IWUSR | S_IRUSR);
memd = mmap(NULL, (sizeof(Type)) * size, PROT_WRITE | PROT_READ,
                MAP_SHARED, memfd, 0);
我们的程序现在拥有了一定的地址空间,代码中也获得了一个指向首地址的指针,那我们该怎么使用他呢?其实,大家想怎么用就怎么用,不过我们还是采用一定的方法将这些地址空间管理起来,定义一下结构体来对内存进行结构化管理:

/**
 * \struct NodeHeader
 * \brief 节点头
 */
struct NodeHeader {
    unsigned int         size;         /**< 内存尺寸 */
    bool                 isActive;     /**< 是否使用 */
    unsigned int         refCount;        /**< 引用数量 */
    NodeHeader           *next;
};


/**
 * \struct Node
 * \brief 节点
 */
struct Node {
    NodeHeader header;       /**< 节点头 */
    char       *data;         /**< 数据 */
};


/**
 * \struct NodeList
 * \brief 节点列表
 */
struct NodeList {
    NodeList           *next;
    unsigned int       size;         /**< 列表中节点的尺寸 */
    NodeHeader         *header;         /**< 节点 */
};

/**
 * \struct NodeContext
 * \brief 节点列表目录
 */
struct NodeContext {
    bool         isInit;          /**< 是否已经初始化*/
    unsigned int refCount;        /**<引用计数器 */
    NodeList     *list;           /**< 节点列表头 */
};

注意,以上结构体本身没有定义实际存储数据的空间,而是通过Node的data指针来指向数据的空间。我一般会在Node之后紧接着根据size大小的数据空间,在分配时直接将指针向下移动相应的数值就可以。这是malloc函数实现中brk ()函数要做的事情,我们自己来做来模拟实现其分配过程。

      初始化节点很简单:

Node* allocNode(NodeList *list)
{
    Node *node = (Node *)nodeMem;
    node->header.size = list->size;
    if(!nodeContext->isInit) {
        node->header.refCount = 0;
        node->header.isActive = false;
    }
    node->data = nodeMem + sizeof(Node);
    nodeMem = nodeMem + sizeof(Node) + list->size; //注意,这里直接将指针移动过去一定的值来为实际数据保留相应的空间
    return node;
}
     我们经过一系列初始化过程将这些连续的地址空间进行了分割,这样我们就可以通过自定义的接口来访问这些内存块了。不过提醒大家的是由于进程间映射的地址值不同,所以我们把地址一个放到了映射文件中,会造成地址访问的越界。所以以上基于指针的实现只能够用于进程内,不过大家完全可以只在映射文件中保存数据,通过不同进程中相同的内存结构来访问。还有一种方式就是模拟cpu变址寻址和Linux底层虚拟内存来实现,这样既可以拥有了结构化的数据,又拥有了指针访问的灵活性。

     那我们如何获取数据呢?大家注意到我上面使用的都是POD数据,也就是说他们都是不会经过C++编译器优化的(如果用在C中就更不存在这个问题了),这里我们直接offset来实现由数据获得节点:


Node* getNode(char *data)
{
    return (Node *)(&(*data) - sizeof(NodeHeader));
}
上面的所有的过程都是简单的对内存区域的移动,记得有人说过“编程不过就是做一些加法或者将内存中的数据从一个地方搬到另一个地方”。



  • 4
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux 中,可以使用 mmap() 系统调用将文件映射到内存中。mmap() 系统调用可以将一个普通文件或者一个设备文件映射到进程的地址空间中,使得进程可以直接访问文件中的数据。 mmap() 系统调用的原型如下: ```c #include <sys/mman.h> void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); ``` 参数说明: - addr:映射的起始地址,通常设置为 0,表示由系统自动分配。 - length:映射的长度,单位是字节。 - prot:映射区域的保护方式,可以是 PROT_READ、PROT_WRITE、PROT_EXEC、PROT_NONE 等。 - flags:映射区域的类型和特性,可以是 MAP_SHARED、MAP_PRIVATE、MAP_FIXED、MAP_ANONYMOUS 等。 - fd:要映射文件描述符。 - offset:映射文件的偏移量。 使用 mmap() 系统调用映射文件到内存中后,就可以像访问普通内存一样访问文件中的数据了。此时,对内存的读写操作会直接影响到文件中的数据,而对文件的修改也会直接反映在内存中。 需要注意的是,映射文件到内存中会增加系统内存的使用量,因此需要谨慎使用,并及时释放映射的内存。可以使用 munmap() 系统调用来释放映射的内存。munmap() 系统调用的原型如下: ```c #include <sys/mman.h> int munmap(void *addr, size_t length); ``` 参数说明: - addr:要释放的映射区域的起始地址。 - length:要释放的映射区域的长度。 在使用 munmap() 系统调用释放映射的内存时,需要注意确保映射的内存区域没有被其他进程或线程使用

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值