FastDFS同步相关文件:
a)10.100.66.82_23000.mark
内容如下:
binlog_index=0
binlog_offset=1334
need_sync_old=1
sync_old_done=1
until_timestamp=1457542256
scan_row_count=23
sync_row_count=11
解释:
binlog_index:对应于哪个binlog
binlog_offset:binlog.xxx的偏移量,可以直接这个偏移量获取下一行记录
need_sync_old:本storage是否是对侧storage(10.100.66.82)的源结点,同时是否需要从起点同步所有的记录
sync_old_done:是否同步完成过
until_timestamp:上次同步时间结点
scan_row_count:总记录数
sync_row_count:已同步记录数
b)binlog.000
内容如下
1457547668 C M00/00/00/CmRCUVbgaZSAGzKjAACkimfedYQ366.jpg
解释:
1457547668:同步时间戳
C:标记文件类型:C 源创建;A 源追加; D 源删除; T 源Truncate。
对应的小写字母则为副本,如c 副本创建。
M00/00/00/CmRCUVbgaZSAGzKjAACkimfedYQ366.jpg:文件名
c)binlog.index
内容如下
0
解释:
现有binlog数。
新增结点同步流程图
注意事项:
对于非源storage,只上传指定时间结点后的源文件给新增结点,副本文件不处理。
对于源结点,需要把时间结点前所有文件(源和副)传给新结点。
同步完成后,B主动发消息给tracker,修改tracker中A的状态记录。
A心跳获取到tracker发过来的消息,修改自身状态。
Storage的状态的主要意义,给tracker用来判定哪些active的结点可以服务。
启动同步过程中,源结点状态不改变,可以正常存储文件。
正常文件同步流程图
注意事项:
正常文件上传完成后,就记录近binlog缓存中,系统定时刷入binlog文件。
系统有线程定时读取binlog文件,当有新增行时,判断该记录是源文件记录还是副本文件记录。
系统只主动发送源文件,副本文件不做处理(非启动时流程)。
图中A的binlog中记录的是源创建(C),B中记录的是副本创建(c)。
Storage的状态
a)状态值:
#define FDFS_STORAGE_STATUS_INIT 0 //初始状态
#define FDFS_STORAGE_STATUS_WAIT_SYNC 1 //等待同步
#define FDFS_STORAGE_STATUS_SYNCING 2 //同步中
#define FDFS_STORAGE_STATUS_IP_CHANGED 3
#define FDFS_STORAGE_STATUS_DELETED 4 //删除结点
#define FDFS_STORAGE_STATUS_OFFLINE 5 //离线
#define FDFS_STORAGE_STATUS_ONLINE 6 //在线,但不可存服务
#define FDFS_STORAGE_STATUS_ACTIVE 7 //在线,可提供存储服务
#define FDFS_STORAGE_STATUS_RECOVERY 9
#define FDFS_STORAGE_STATUS_NONE 99 //未知状态
b)启动时状态改变:
i.storage server A连接tracker server,tracker server将storage server A的状态设置为FDFS_STORAGE_STATUS_INIT。storage server A询问追加同步的源服务器和追加同步截至时间点,如果该组内只有storage server A或该组内已成功上传的文件数为0,则没有数据需要同步,storage server A就可以提供在线服务,此时tracker将其状态设置为FDFS_STORAGE_STATUS_OFFLINE,否则tracker server将其状态设置为FDFS_STORAGE_STATUS_WAIT_SYNC,进入第二步的处理;
ii.假设tracker server 分配向storage server A同步已有数据的源storage server为B。同组的storage server和tracker server通讯得知新增了storage server A,将启动同步线程,并向tracker server询问向storage server A追加同步的源服务器和截至时间点。storage server B将把截至时间点之前的所有数据同步给storage server A;而其余的storage server从截至时间点之后进行正常同步,只把源头数据同步给storage server A。到了截至时间点之后,storage server B对storage server A的同步将由追加同步切换为正常同步,只同步源头数据;
iii.storage server B向storage server A同步完所有数据,暂时没有数据要同步时,storage server B请求tracker server将storage server A的状态设置为FDFS_STORAGE_STATUS_OFFLINE;
iv.当storage server A向tracker server发起heart beat时,tracker server将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。
Tracker选择客户端下载文件的storage的原则
a)在同group下,获取最小的一个同步时间点(各个storage在同一时间,同步完成的时间点不一样)
b)在最小同步时间点之前的文件,按照用户的规则随意选择一个storage。
c)在最小同步时间点之后的文件,选择源storage提供给客户端。