All About Persistent Memory Flushing

All About Persistent Memory Flushing

发现很多的NVM一致性的文章都在说flushing cacheline以及原因是写内存指令重排序等，但是好像都没有很清楚的解释为什么要刷？为什么NVM就需要如此重视这个问题而块设备就不需要？所以看了一篇Storage Developer Conference 2017上Intel和Oracle的工程师分享的talk。

lecture链接：https://max.book118.com/html/2020/0806/6201224125002225.shtm

我们将在后面解释：

1. 为什么flushing对于NVM非常重要？以及什么时候我们不需要关心这个问题？
2. 一些容易混淆的技术以及他们之间的区别：

• visibility and persistence
• msync/fsync, FlushFileBuffers
• Optimized Flush
• x86 instructions: CLFLUSHOPT/CLWB
• Deep Flush
• Flushing to remote persistence
  

Intel也提出了Asynchronous DRAM Refresh的概念，负责把Data in flight上的数据写回到内存中，保证持久性。ADR只能保证Write Pending Queue以及PMEM缓存中的数据，但是无法保证Cache中的数据在崩溃时也成功写回。所以目前就需要通过CLFLUSH等指令做到对Cache中数据的保护。

所以需要明确以下三个问题：

1. flushing是在PMEM上新出现的问题吗？

不是，一般的内存映射方式的文件都需要。（所以mmap中对文件的修改也是需要flush的，从内存页面flush到disk）

2. 目前有标准的flushing API吗？
   是的，比如Linux中的msync，以及内核中使用CLFLUSHOPT或CLWB等内联汇编。

3. 可以在用户空间单独使用CLWBflushing数据吗？
   sometimes，在内核或者文件系统支持的情况下，同时类似NVML等库会决定这个操作是否安全。

接下来对flushing方式进行简单总结：

1. standard flushing：msync, fsync等，使用了超过30年。
2. Optimized flushing：个人理解是CLFLUSHOPT, CLWB等指令，好处是可以避免锁，内核调用以及支持并发，可以快速flushing，坏处是有些处理器不支持。
3. Deep flushing：直接把数据按照最小的failure domain刷新，显然放弃了性能
4. Remote flushing：数据通过RDMA以及store barrier刷新到PMEM中。

那么我们可以认为Visibility==Persistence吗？即我们在PMEM上看到这个修改就认为已经持久化了。答案是肯定的，但是我们需要保证cache要么是write-through的（影响性能），要么是flush-on-fail的（掉电保护的cache，eADR）。

下一个问题是Deep flush的使用时机。

• 使用：
  第一个就是我们为了保证metadata的崩溃一致性，就需要deep flush，典型的机制是journal filesystem；第二个就是我们不考虑性能，现在的很多app还在使用fsync。

• 不使用：
  关心性能时。

此外，推荐尽可能使用libpmem之类的库管理flush操作。

remote flush暂时不介绍。

总之：

1. flushing短期内不会消失；
2. 尽可能使用standard/optimized flushes（msync, fsync或者clflushopt, clwb等）
3. 尽可能使用libraries管理app的flush

（个人感觉整体上还是有点模糊，All About还是有点夸大了。。。）