日志同步写场景
同步写:即每次write之后调用fsync函数将写入的数据落盘,而不是将数据驻留在操作系统的内核缓存中。如果不执行同步写,显然日志数据只能抵抗进程级别的崩溃,操作系统崩溃(例如断电),那就存在丢失数据的可能性;然而执行同步写,会极大的损失性能,但可以抵抗系统级故障
在LevelDB中,可以通过写入时的WriteOptions.sync参数来控制本次写是同步的还是异步的。
同步写:是据持久性和性能权衡
Non-volatile Memory简介
NVM(Non-volatile Memory),非易失性内存,是一种新型的高速非易失性存储设备,具有百纳秒级的读写延迟和远高于SSD的读写吞吐能力,并且具有字节可寻址的特性,CPU能直接访问到NVM上的数据,不需要经过内存。
Nvm 适配
本文采用Intel AEP设备,基于3D XPoint技术的NVM产品。
PMDK 的全称是 Persistent Memory Development Kit,它包含了 Intel 开发的一系列旨在 方便非易失性内存的应用开发的函数库和工具。
libpmem 适配
pmem_map_file 函数
-
作用:
文件映射到虚拟地址空间
-
函数原型:
void *pmem_map_file(const char *path, size_t size, int flags, mode_t mode, size_t *mapped_len);
-
参数说明:
path: 要映射的文件路径。
size: 要映射的文件大小,如果是 0,则映射整个文件。
flags: 映射标志,如 PMEM_FILE_CREATE 创建新的文件,PMEM_FILE_EXCL 确保文件不存在。
mode: 创建新文件时的权限模式。
mapped_len: 返回映射区域的大小。
pmem_unmap 函数
-
作用:
结束映射
-
函数原型:
int pmem_unmap(void *addr, size_t len);
-
参数说明:
addr:指向要取消映射的持久内存区域的指针。
len:要取消映射的内存长度。
pmem_memcpy_persist 函数
-
作用:
将源内存区域的数据复制到目标内存区域,并确保写入持久内存。
-
函数原型:
void pmem_memcpy_persist(char *dst, char* src, size_t size);
- 参数说明:
实现
如下图所示:NVWritableFile类定义了startAddr_和currAddr_两个变量,分别指向mmap区域的开头以及当前写入的位置,实现Append函数。又因为CPU可以直接对AEP进行访问,不需要经过DRAM,因此数据的改动会直接落盘,不再需要内置的缓冲区。