分布式文件存储SeaweedFS：数据存储的设计与实现前言

最新推荐文章于 2024-05-11 14:53:35 发布

信也科技布道师

最新推荐文章于 2024-05-11 14:53:35 发布

阅读量1.2k

点赞数

文章标签：分布式

本文链接：https://blog.csdn.net/xinyebudaoshi/article/details/134465332

版权

前言

为了满足业务的需求，信也科技基于SeaweedFS搭建了分布式文件存储服务，目前已在生产环境落地，陆续接入了部分业务场景，积累了一些经验。本人也在参与该项目的过程中也对SeaweedFS源码进行了深入研究，下面将会给大家分享SeaweedFS Volume节点数据存储设计，也会对其核心源码进行解读。

Volume数据节点介绍

之前已经对SeaweedFS集群和Master节点进行了讲解，所以这里不再重复，如果有对相关概念不了解的同学请看这几篇文章：分布式文件存储SeaweedFS简介与Mount功能原理解密、SeaweedFS Master节点Raft协议源码解析

Volume节点的职责

SeaweedFS是一个分布式文件存储中间件，由Filer、Master、Volume三种节点组成集群。在文件上传流程中Filer节点负责将大文件切分成小的文件块(needle)，Master节点会为每一个小文件块分配文件ID和存储位置(volume)，Volume节点负责将文件块存入磁盘并维护索引。

基本概念

Volume节点：存储数据的节点。
Volume：数据节点管理文件的单元。本质是一个数据文件和一个索引文件。
Needle：表示一个文件块，存储在Volume的数据文件中。

Volume节点和Volume是两个比较容易混淆的概念：Volume节点是运行在服务器中的一个进程(对应代码中的VolumeServer结构体)，Volume是Volume节点中为了方便管理文件而设计的结构体(对应代码中的Volume结构体)。在物理层面Volume就是两个文件：一个最大为30GB的数据文件，一个索引文件。用户上传的文件会封装为一个Needle然后以追加的方式写入数据文件中，并在索引文件中记录文件ID、起始Offset、文件Size，在下载时可以通过索引文件快速定位到Needle在数据文件中的位置。

Volume结构体

数据存储设计

通过上面的简单介绍，我们已经了解了文件在单个节点上是如何存储的，但在分布式系统中，数据必须具有备份、容灾能力，所以下面将介绍SeaweedFS中提供的两种数据备份方式：多副本、纠删码(EC)。

多副本存储

与其他存储中间件相同，SeaweedFS提供多副本数据存储能力。在启动Master节点时可以通过-defaultReplication=XYZ配置副本数，其中xyz分别代表：

X：在不同数据中心的副本数
Y：在相同数据中心不同机架的副本数
Z：在相同机架不同服务器的副本数

例如，我们在搭建集群时启动参数为-defaultReplication=020，代表在不同的机架额外维护两个副本，也就是总共存储三份数据。

多副本数据一致性

为了保障数据的一致性，需要满足公式 W + R > N，其中 W 代表写入几个副本才算写入成功，R 代表读取数据需要读取几个副本，N 代表数据总共有几个副本。在SeaweedFS的实现中 W = N、R = 1，也就是必须所有副本写入成功才认为写入成功，读取时只需要读任意副本即可。

文件上传代码实现

根据Master节点分配的地址，选择一个Volume节点调用API写入文件数据。
Volume节点接收到请求后先写入自身本地存储。
在根据备份策略查找备份节点，写入备份节点。
任意一个节点写入失败则返回失败。

多副本高可用

根据上面的一致性公式 W = N，数据写入需要所有副本都写入成功，那是不是意味着只要有一个节点宕机就无法写入数据了呢？当然不是。下面我们将会介绍SeaweedFS在多副本模式下如何保证服务高可用。

读高可用

在多副本模式下，所有的Volume都会存储 N 个副本，副本会分散在多个 Volume 节点上，根据上面讲的一致性策略，读文件只需要读取一个副本，所以只要有一个副本存活就可以提供读服务。

写高可用

1. Volume节点宕机会导致其上面的Volume变为只读状态。

2. 只读状态的Volume不会被Master节点分配写入请求。

3. 当没有足够的Volume可以写入时会触发扩容。

如图，我们以3节点2副本举例，假设3号Volume节点宕机，那么Volume-2会被标记为只读状态。新的文件上传请求会被分配到Volume-1中，如果Volume-1也处于无法写入状态（比如写满了），那么会新建一个Volume-3并将新的文件写入Volume-3中。

纠删码存储(EC)

多副本存储会导致存储空间翻倍，空间利用率低，例如：三副本存储空间利用率为33%。纠删码存储可以在实现数据备份、容灾的前提下提高空间利用率，降低存储成本。在实现时根据计算纠删码的时机不同可以分为在线、离线两种方式：

- 在线计算：每上传一个文件都实时计算纠删码。

- 离线计算：先使用多副本存储文件，然后离线批量计算转换为纠删码存储。

SeaweedFS在设计上主要是面向小文件存储，只实现了离线计算纠删码，所以下面只讨论离线纠删码。

纠删码是什么

纠删码存储会将原始数据切分为 N 个大小相同的数据块，然后通过计算的到 M 个相同大小的校验块，将 N + M 个块均匀的存储在多台服务器中，即可实现丢失任意 M 个块都可以通过逆向计算恢复数据。在SeaweedFS中使用RS(10, 4)算法，也就是将原始数据平均分为 10 个数据块，然后通过纠删码计算得到 4 个校验块，任意丢失 4 个块都可以通过逆向计算恢复数据。

RS(10, 4)算法只额外占用了40%的存储空间就可以容忍4个分区数据的丢失，空间利用率为70%，而多副本存储需要至少5个副本才能实现，空间利用率为20%。