QFS [VLDB‘13] 论文阅读笔记

原论文：The Quantcast File System (VLDB’13)

QFS简介及技术要点

QFS（Quantcast File System）是由Quantcast开发的一个高效、可扩展的分布式文件系统，旨在提供与Hadoop分布式文件系统（HDFS）兼容的替代方案。QFS是用C++编写的，并且与Hadoop MapReduce插件兼容。它相对于HDFS提供了多项效率改进，包括通过纠删码机制而不是副本策略来节省50%的磁盘空间，写入吞吐量提高一倍，更快的名字节点，支持通过并发追加特性进行更快的排序和日志记录，比hadoop fs命令行客户端更快的本地命令行客户端，以及全局反馈指导的I/O设备管理。QFS自2011年以来已经在生产环境中得到广泛应用。

QFS的一些关键技术要点：

1. 纠删码：QFS使用Reed-Solomon纠删码代替传统的三重复制策略，通过默认的6+3配置（每六个数据块加三个奇偶校验块），实现了与3x复制相当的或更好的容错能力，同时大幅减少了所需的存储空间。
2. 存储效率：QFS通过纠删码节省了50%的存储空间，这意味着在现有的集群上可以存储两倍的数据量，或者在新建集群时节省50%的存储成本。
3. 性能提升：QFS提供了更高的写入吞吐量，因为它需要写入的原始数据量减少了一半。此外，QFS还提供了更快的名字节点和命令行客户端。
4. 并发追加特性：QFS支持通过高可扩展的并发追加特性进行分布式排序和日志记录，这对于大数据处理工作负载来说是一个重要的优化。
5. 设备管理：QFS实现了全局反馈指导的I/O设备管理，通过集中监控设备队列大小来避免慢速设备的影响。
6. 兼容性：QFS与Hadoop插件兼容，可以从HDFS轻松迁移数据到QFS，只需执行hadoop distcp命令即可。
7. 生产环境应用：Quantcast自2011年以来一直在生产环境中使用QFS，并依赖于多个QFS实例来存储日志数据、MapReduce输入/输出数据以及其他类型的数据。
8. 未来发展：QFS的开发路线图包括实现高可用性的名字节点、增强的联邦能力和安全认证。

QFS的设计和实现针对大数据工作负载进行了优化，特别是在处理大规模、顺序的数据块方面。作为一个开源项目，QFS不仅为使用Hadoop的组织提供了一个高效的存储解决方案，而且还为那些通过其他方式读取和写入大型数据块的环境提供了潜在的好处。

原论文阅读

1. INTRODUCTION

• 大数据处理的挑战：处理大数据本质上是一项大规模的冒险活动，它可以为组织创造巨大的机会，但也需要大量的硬件资源，这反过来又需要大量的资本和运营投资。
• Hadoop和HDFS的局限性：Apache Hadoop通过采用数据局部性原则来最大化硬件的使用，但由于集群内部的数据传输速度较慢，Hadoop努力将数据处理代码发送到数据所在的位置，而不是移动数据。Hadoop分布式文件系统（HDFS）采用了3-副本策略来实现容错，但这使得存储开销很大。
• 硬件进步带来的优化可能性：随着硬件技术的发展，如10 Gbps网络的普及和核心网络交换机带宽的提升，以及其他硬件资源的进步，为文件系统提供了新的优化可能性。
• QFS的设计选择：QFS放弃了数据局部性原则，依靠更快的网络将数据传输到需要的地方，并优化了存储效率。QFS采用了Reed-Solomon纠删码机制代替3-副本策略，通过默认的6+3配置，实现了与3-副本策略相当的或更好的容错能力，同时节省了50%的存储空间。
• QFS的性能优势：QFS不仅在存储空间上节省了一半，而且写入速度提高了一倍。此外，QFS还提供了更快的名字节点、C++编写的客户端库、支持分布式排序和日志记录的并发追加特性、比Hadoop fs更快的