The Past, Present and Future of Indexing on Persistent Memory

（一）研究目的

第一个专注于PM索引技术的指南。概述PM索引技术，包括范围索引和哈希索引。对比实际PM可用之前和之后提出的设计，总结了常见和有用的设计，讨论该领域潜在的挑战和机会。

（二）研究背景

持久索引是数据库系统中的基本数据结构。传统索引的构建是为了处理块设备的特性，受到低带宽和高延迟的影响。PM技术的进步允许我们构建快速的、单单级持久索引，脱离使用由缓冲池管理的DRAM-SSD层次结构。

（三）研究内容

1 PM生态系统

因为DRAM的可扩展性已经达到极限，现在可扩展PM的想法在十多年前就已出现。制造PM的材料有STT-RAM、memristor、phase change memory、3D XPoint，共同目标是提供接近DRAM的性能和字节寻址能力。直到2019年Intel发布Optane DC Persistent Memory Module（Optane DCPMM，目前称Optane PMem），PM成为现实。到现在Optane PMem仍然是唯一的商业可用和事实上的标准PM设备。
Optane PMem提供比DRAM大得多的容量，达到512GB；与flash相比具有低延迟(300ns读延迟)，但延迟比DRAM高4倍；表现出非对称读写延迟，写速度较慢。
Optane PMem可以在三种模式下运行：Memory模式、APP Direct模式或者是双模式。内存模式下，PM作为内存提供更大但较慢的易失性内存，此时DRAM作为完全由硬件控制的透明缓存。 APP Direct模式下，软件可以使用PM和DRAM来持久化存储数据。因为App Direct提供了持久性，几乎所有的PM索引都是基于它的，这也是本教程的关注点。

2 PM编程

为PM构建软件提出了几个主要的挑战：保证数据持久性、管理PM空间、处理并发和恢复问题。

持久性

第一代PMem要求软件主动发出cacheline刷新指令，包括CLWB、CLFLUSH和CLFLUSHOPT。刷新后的数据到达CPU的写缓冲区中，该缓冲区包含在异步DRAM刷新（ADR）域中，ADR域是电源故障保护的，一旦数据到达ADR域，就被认为是持久的。
最新的第三代PMem有着eADR特性，不需要软件主动发出cacheline刷新。但无论是ADR还是eADR，都需要发出SFENCE来保证写顺序。
此外，现代CPU只保证8字节原子写，涉及大于8字节的原子写需要特别注意。

PM空间管理

为了利用PM的内存特性，应用程序通常通过mmap接口将PM直接映射到它的地址空间，从而使用加载和存储指令直接访问数据，而不需要通过POSIX读写等文件系统接口。

并发和恢复

DRAM索引可以从存储器中恢复，而不用担心不一致，而PM索引需要恢复数据和程序状态，因为它们都持久化在PM上。例如PM上的并发需要加锁，崩溃时锁也在PM上持久化，所以需要额外的恢复逻辑来恢复到以前的一致状态。

3 PM范围索引

前Optane时代

在真正的PM出现前，研究人员使用DRAM模拟PM。尽管有些假设被证明是不正确的，但一些预测和设计后来在真正的PM上得到了验证，尤其是减少PM访问和避免不必要的缓存刷新以提高性能的基本原则。几乎所有的索引都以减少PM访问为中心目标，思路有：内部节点放在DRAM中减少一致性要求、无序节点减少排序导致的PM访问、指纹避免不必要的查找以减少PM访问、并发性倾向于采用乐观锁、在内部节点利用硬件事务内存HTM来减少遍历成本、无锁多字比较交换PMwCAS来原子修改多个8字节。
在真正的PM出现之前，设计都集中在简单的整型key上，没有考虑变长key。由于仿真研究的局限性，一般没有考虑PM空间的管理和分配、NUMA效应等问题。

Optane时代

Optane PMem在2019年可用后，多个新的PM索引被提出，它们继承了之前的一些设计，也提出了新的设计以应对真正的PM的属性。
PM-DRAM的混合存储架构中，DRAM被更多地使用，比如DPTree、uTree在DRAM中放置整个树，以更长的恢复时间、更复杂的编程和更高的DRAM空间使用为代价获得更高的性能。
此外，新索引不止是基于B+Tree。PACTree和ROART是基于基数树的，但它们只使用PM设计，能保持即时恢复但性能不佳。可更新的学习索引（ ALEX）也适用于PM，其优势是使用了更大的节点，，但也导致高昂的结构修改和插入操作。
指纹、无序(叶)节点和元数据的选择性一致性仍然很受欢迎，并得到了进一步优化。
但是，变长键、PM分配器和NUMA的影响仍然缺乏足够的重视。只有基于基数树的ROART和PACTree本身支持可变长度的键；大多新的索引使用PDMK来管理PM以避免永久泄露，但许多索引需要调整分配器以获得更好的性能；只有PACTree可以缓解NUMA的影响。

4 PM哈希索引

前Optane时代，与PM范围索引类似，大多数散列表都专注于减少PM写入和简单的8字节键，大多数解决方案也是单线程的，没有并发性。 Level hashing、 CCEH 、 SOFT。
Optane时代，Clevel为 Level hashing 设计了一个无锁方案。Dash通过采用PM范围索引的指纹对PM读写进行了优化，避免了不必要的桶探测。

5 挑战与机遇

需要阅读Evaluating Persistent Memory Range Indexes, Part Two.这篇论文。
（之前读过Evaluating Persistent Memory Range Indexes）

（四）总结

本文概括性较强，总结了较多PM索引，但不够全面。