FastDFS之磁盘恢复过程

最新推荐文章于 2023-06-10 11:25:17 发布

荒废庭院

最新推荐文章于 2023-06-10 11:25:17 发布

阅读量4.1k

点赞数 2

分类专栏： FastDFS分布式文件存储原理

本文链接：https://blog.csdn.net/hfty290/article/details/42032817

版权

FastDFS分布式文件存储原理专栏收录该内容

10 篇文章 3 订阅

订阅专栏

FastDFS之磁盘恢复过程

基于FastDFS 5.03/5.04

2014-12-19

一、磁盘恢复概述

顾名思义，磁盘恢复也就是一台服务器的某个磁盘坏掉，换了一个新的硬盘，然后将旧磁盘本应该有的数据拷贝到新硬盘的过程。FastDFS原生支持该过程，可以自动检测，并完成。FastDFS推荐的方式是一个磁盘挂载成一个Store-Path，换了一个新的磁盘后，该Store_path目录下的数据丢失了，但是这部分数据在同组的其他Storage都有，因此只要从对应的Storage上拷贝到目录下的数据即可。

FastDFS-Storaged程序在启动时会检查每个Store_path目录下的子目录个数，默认情况下，每个Store_path下面会创建两级256个子目录。当非首次启动时，发现某个Store_path下没有任何目录，则会进入磁盘恢复过程。

该过程在代码的storage_disk_recovery.c之中。

二、磁盘恢复过程

磁盘恢复过程包括三个步骤：RecoveryStart、RecoveryStore、RecoveryFinish；这三个步骤之中的RecoveryStore可以多次执行，因此在恢复过程中记录了中间状态，因此即使在磁盘恢复过程中宕机或停止，下次再次启动时还是可以从上次的状态继续恢复数据。而RecoveryStart与RecoveryFinish都是只执行一次。

磁盘恢复过程的两个状态文件： .recovery.mark；.binlog.recovery

这两个状态文件保存与StorePath目录下，用于记录恢复过程的状态。

.recovery.mark文件包括三个字段：

saved_storage_status= ##表示状态

binlog_offset= ##表示恢复的binlog偏移量

fetch_binlog_done= ##表示是否已经下载binlog

.binlog.recovery文件，记录的是需要恢复的文件binlog，内容类似下面这样的记录：

1406858030 C M00/00/00/CmQPRlPa8y6AbW3ZAAADWjN_G5k15.conf

1、磁盘恢复开始RecoveryStart

在Storaged启动时，会依次检查每一个StorePath，首次启动时会为每个StorePath创建两级256个子目录（默认256，可配置），因此当非首次启动时，检测到StorePath下不存在这两级的256个子目录，那么程序就会认为该StorePath数据丢失，开始进行这个StorePath的磁盘恢复。

该过程在storage_disk_recovery_start函数之中。

RecoveryStart执行如下操作：

1）创建状态文件 .recovery.mark；.binlog.recovery，并初始化。

2）连接Tracker，查询该Storage的最大状态值（该值用于在磁盘恢复完成后，恢复到之前的状态），查询所在组的Storage列表，从中获取一个状态为Active的Storage，若获取不到Active的Storage则睡眠5秒后再次尝试；获取到的该Storage我们称为源Storage。

3）向Tracker报告，将自己状态设置成RECOVERY。

4）向源Storage发送FETCH_ONE_PATH_BINLOG命令，参数为group_name、store_path_index；源Storage收到该命令后从头遍历整个binlog，过滤出符合下列条件的binlog返回来：binlog文件的目录为指定的store_path；该binlog的操作类型为Create方式；该binlog对应的文件在文件系统中还存在；

5）将从源Storage返回的binlog写入到.binlog.recovery文件之中，若完成收到源Storage的整个回复，则设置.recovery.mark文件中的fetch_binlog_done标志为1；表示已经完成binlog文件的获取，设置saved_storage_status为第二步中查询到的最大状态值。