leveldb NVM改造

日志同步写场景

同步写:即每次write之后调用fsync函数将写入的数据落盘,而不是将数据驻留在操作系统的内核缓存中。如果不执行同步写,显然日志数据只能抵抗进程级别的崩溃,操作系统崩溃(例如断电),那就存在丢失数据的可能性;然而执行同步写,会极大的损失性能,但可以抵抗系统级故障

在LevelDB中,可以通过写入时的WriteOptions.sync参数来控制本次写是同步的还是异步的。

同步写:是据持久性和性能权衡

Non-volatile Memory简介

NVM(Non-volatile Memory),非易失性内存,是一种新型的高速非易失性存储设备,具有百纳秒级的读写延迟和远高于SSD的读写吞吐能力,并且具有字节可寻址的特性,CPU能直接访问到NVM上的数据,不需要经过内存。

Nvm 适配

本文采用Intel AEP设备,基于3D XPoint技术的NVM产品。
PMDK 的全称是 Persistent Memory Development Kit,它包含了 Intel 开发的一系列旨在 方便非易失性内存的应用开发的函数库和工具。

libpmem 适配

pmem_map_file 函数

  • 作用:

    文件映射到虚拟地址空间

  • 函数原型:

    void *pmem_map_file(const char *path, size_t size, int flags, mode_t mode, size_t *mapped_len);
    
  • 参数说明:

    path: 要映射的文件路径。
    size: 要映射的文件大小,如果是 0,则映射整个文件。
    flags: 映射标志,如 PMEM_FILE_CREATE 创建新的文件,PMEM_FILE_EXCL 确保文件不存在。
    mode: 创建新文件时的权限模式。
    mapped_len: 返回映射区域的大小。

pmem_unmap 函数

  • 作用:

    结束映射

  • 函数原型:

    int pmem_unmap(void *addr, size_t len);
    
  • 参数说明:

    addr:指向要取消映射的持久内存区域的指针。
    len:要取消映射的内存长度。

pmem_memcpy_persist 函数

  • 作用:

    将源内存区域的数据复制到目标内存区域,并确保写入持久内存。

  • 函数原型:

	void pmem_memcpy_persist(char *dst, char* src, size_t size);
  • 参数说明:

实现

如下图所示:NVWritableFile类定义了startAddr_和currAddr_两个变量,分别指向mmap区域的开头以及当前写入的位置,实现Append函数。又因为CPU可以直接对AEP进行访问,不需要经过DRAM,因此数据的改动会直接落盘,不再需要内置的缓冲区。

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值