Optimizing File Systems on Heterogeneous Memory by Integrating DRAM Cache with Virtual Memo...——泛读笔记

FAST 2024 Paper 元数据论文阅读整理

问题

针对DRAM缓存在DRAM-PM异构存储文件系统中的使用，通过对现有基于缓存和基于直接访问（DAX）设计的文件系统的分析，我们发现，由于数据移动过多，两者的性能都不理想。

现有方法局限性

基于缓存的方法：

• 在快速、全内存架构下，DRAM缓存会产生显著的开销。

基于DAX的方法：

• 因为高延迟限制了文件系统性能。PM延迟远高于和DRAM（PM延迟可能在数百到数千纳秒之间[18]）。

• DAX可能会失去DRAM缓存提供的数据局部性的性能优势。在高并发和强数据局部性的场景中，尽管VFS页面缓存框架引入了高软件开销，但基于DAX的系统的性能不如DRAM缓存系统。

• 即时持久性是DAX的最佳场景；但在许多现实世界的场景中，这是一种过度做法[49]。

挑战

• 应用程序缓冲区和DRAM缓存之间的数据传输开销很高。在应用程序和DRAM缓存之间传输数据是最关键的快速路径操作，但是现有的缓存框架使用内存复制，这引入了大量的性能开销。实验表明，在使用VFS页面缓存的文件系统中，数据复制占据了高达84%的开销。

• 缓存税的影响显著。现有的缓存框架需要花费大量精力来同步（清除脏数据）和跨DRAM缓存和PM迁移数据（将数据移入/移出缓存）。这种操作是以同步和顺序的方式实现的，并显著增加了性能损失（超过30%）。

本文方法

本文提出了一种在异构内存之上的缓存管理层，FLAC，将DRAM缓存与虚拟内存管理相结合。主要包含两个关键技术：

• 零拷贝缓存。FLAC将异构内存统一到一个层次的异构页表，虚拟页面可以根据其状态（即缓存或逐出）动态映射到DRAM或PM上的物理页面。设计了页面附加机制，以零拷贝的方式优化应用程序和缓存之间的数据传输。其核心思想是通过强制写时复制（COW）在源地址和目标地址之间映射页面，以实现高效和安全的数据传输。FLAC通过滑动窗口缓冲区解决解决页面未对齐，通过批错误/分离来解决COW页面错误的副作用。零拷贝缓存使页面具有多个版本，这需要FLAC具有新的缓存管理机制，以确保数据一致性和高并发性。

• 并行优化缓存管理。利用零拷贝缓存带来的多版本功能，充分利用了关键I/O路径的数据同步和迁移的并行性。FLAC提出了两阶段刷新，允许脏数据同步中昂贵的持久性阶段无锁，并提出了异步缓存未命中处理，以分摊在后台将数据加载到缓存的开销。

在FLAC上进一步设计和实现了一个库文件系统，称为FlacFS。

微观基准测试表明，在文件读/写方面，FlacFS比现有文件系统提供了高达两个数量级的性能改进。在实际应用中，与最先进的基于DAX和基于缓存的文件系统相比，FlacFS的性能分别提高了10.6倍和9.9倍。

实验

实验环境：两个Intel Xeon CPU，256GB RAM，1TB（128GB×8）PM。FlacFS和EXT4使用Ubuntu 20.04和Linux 5.1，其他文件系统使用它们可以支持的内核版本。

数据集：微基准测试、Filebench [45]、命令行应用程序 grep v3.7和tar v1.34、大数据处理 BigSort[25]

实验对比：执行时间、吞吐量、缓存逐出开销

实验参数：线程数、I/O大小、缓冲重写比例、文件大小

总结

针对DRAM-PM异构存储文件系统的优化，现有基于缓存和基于直接访问（DAX）设计的文件系统性能不理想，原因在于应用程序缓冲区和DRAM缓存之间的数据传输使用内存复制开销高，现有方法需要同步（清除脏数据）和跨DRAM缓存和PM迁移数据（将数据移入/移出缓存）导致性能低。本文提出在异构内存之上的缓存管理层，FLAC，将DRAM缓存与虚拟内存管理相结合。主要包含两个关键技术：（1）零拷贝缓存。虚拟页面可以根据其状态（即缓存或逐出）动态映射到DRAM或PM上的物理页面，以零拷贝的方式优化应用程序和缓存之间的数据传输。其核心思想是通过强制写时复制（COW）在源地址和目标地址之间映射页面。并通过滑动窗口缓冲区解决解决页面未对齐，通过批错误/分离来解决COW页面错误的副作用。（2）并行优化缓存管理。利用零拷贝缓存带来的多版本，通过两阶段刷新，允许脏数据同步阶段无锁，并提出了异步缓存未命中处理，以分摊在后台将数据加载到缓存的开销。