一种日志结构文件系统的设计与实现(一）

一种日志结构文件系统的设计与实现(一）

The Design and Implementation of a Log-Structured file system

Mendel Rosenblum and John K. Ousterhout

Electrical Engineering and Computer Sciences, Computer Science Division

University of California

Berkeley , CA 94720

mendel@sprite.berkeley.edu, ouster@sprite.berkeley.edu

 

邓辉 译

 

原文： http://www.eecs.berkeley.edu/~brewer/cs262/LFS.pdf

 

 

摘要：

       本文介绍了一种新的磁盘存储管理技术：日志结构文件系统 。在日志结构文件系统中，所有的修改都以顺序的方式写入一个类日志的结构中，因此既加快了写入的速度，同时也加快了崩溃恢复（ crash recovery ）的速度。日志是唯一存储在磁盘上的结构；其中包含了索引信息，可以提高从日志中读回文件内容的速度。为了提供快速写入所需要的“大块”（ large extents ）空闲磁盘空间，我们把日志分成段（ segments ） ，并用段清理器（ segments cleaner ） 来对分片严重的段中的有用信息进行压缩。我们进行了一系列的模拟测试以说明一个简单的、基于成本收益的清理策略的有效性。我们实现了一个日志结构文件系统原型： Sprite LFS ；其在小文件写操作方面的性能比现有的 Unix 文件系统高一个数量级，在读以及大文件写方面也超过 Unix 的性能。即使把段清理的开销包括在内， Sprite LFS 也可以在写入时使用到 70% 的磁盘带宽，而 Unix 文件系统一般只能使用到 5-10% 。

1、 介绍

       在最近的 10 年间， CPU 的速度飞速增长，而磁盘的访问速度却增长缓慢。这个趋势很可能不会改变，因此，磁盘性能就成为越来越多应用的性能瓶颈。为了减少这个问题的影响，我们设计了一种新的磁盘存储管理技术，称为日志结构文件系统 ，其使用磁盘的效率要比当前的文件系统高一个数量级。

 

       日志结构文件系统的设计有一个假设前提：文件会被缓存在主内存中，因此增加内存大小会增加缓存在满足读请求方面的效率 [1] 。因此，写请求就成为磁盘的主要负载。日志结构文件系统把所有新的信息写入到磁盘中的一个称为日志 的顺序结构中。由于消除了几乎所有的寻道开销，因此这种方法可以极大地提升写入性能。同时，日志的顺序特性也加快了崩溃恢复的速度：一般来讲，当前的 Unix 文件系统在崩溃后必须得扫面整个磁盘以恢复数据的一致性，但是日记结构文件系统只需要检查日志中的最新部分即可。

 

       日志并不是一个新的概念，很多近期的文件系统都已经把日志作为辅助结构融合于其中，用以加速写入和崩溃恢复 [2,3] 。但是，这些系统仅把日志用作临时存储；信息的持久存储地仍然为磁盘中的传统随机存取存储结构。相反，日志结构文件系统则把数据永久地存储在日志中：磁盘上只有这一个结构。日志中保存着索引信息，这样在读回文件内容时，其效率和当前文件系统不相上下。

 

       为了使得日志结构文件系统高效运行，就必须得保证在写入新数据时，总有“大块”空闲磁盘空间可用。这是日记结构文件系统设计中所面临的最困难的挑战。在本文中，我们提出了一种基于被称为段 （ segments ）的“大块”的解决方案，其中段清理器 进程会不停地对分片严重的段进行压缩，重新产生出新的空闲段。我们使用一个模拟器来研究不同的清理策略，并发现了一个简单但是有效的基于成本收益的算法：把老一些的，变化慢一些的数据和新的、快速变化的数据分离，并在清理时对它们区别对待。

 

       我们实现了一个称为 Sprite LFS 的日志结构文件系统原型，现在已经成为 Sprite 网络操作系统 [4] 产品的一部分。基准测试程序表明，对于小文件来说， Sprite LFS 的原始写入速度超过 Unix 一个数量级以上。即使对于其他类型的测试，比如读取和大文件存取， Sprite LFS 也至少和 Unix 一样快（除了一种情况：文件随机写入后，再顺序读）。我们还度量了产品系统中清理工作的长期开销。总的来说， Sprite LFS 在写入新数据时，可以利用到磁盘原始带宽的 65-75% （其他的被用作清理）。而 Unix 系统只能把磁盘原始带宽的 5-10% 用于写入新数据；其他的时间都花费在寻道上面。

 

       本文的剩余部分被分为 6 小节。第 2 节回顾了 1990’ s 时期计算机文件系统设计中的一些问题，第 3 节讨论了日志结构文件系统设计的可选方案，并导出了 Sprite LFS 的结构，主要关注于清理机制。第 4 节介绍 Sprite LFS 中的崩溃恢复。第 5 节基于基准测试程序和清理开销的长期度量对 Sprite LFS 进行评估。第 6 节比较了 Sprite LFS 和其他文件系统。我们在第 7 节进行了总结。

2 、 1990’ s 的文件系统设计

（待续）