【FastDFS】- 分布式文件系统FastDFS原理介绍

FastDFS是什么？

FastDFS是一个开源的轻量级分布式文件系统，对文件进行管理，适用于中小文件，如：相册网站、视频网站等（建议范围：4KB<file_size<500MB）

功能

• 文件存储
• 文件同步
• 文件访问（文件上传与下载）

角色

• Storage server

存储服务器，主要提供容量和备份服务，以组为单位（group/volume）为单位，一个group中包含多个storage主机，数据互为备份，存储空间按照group中最小storage为准，使用时可以设置多个storage配置相同；

• Tracker server

跟踪服务器，主要做任务调度，起到负载均衡的作用，负责管理所有的storage server和group，每个storage启动后会连接Tracker，告知自己所属的group信息，并保持周期性心跳；

• Client客户端

文件上传下载的服务器，项目部署服务器

存储策略

为支持大容量，storage server采用了分卷（或分组）[（group/volume）为单位]的组织方式

• 存储系统由一个或多个卷组成，卷与卷之间的文件相互独立，所有卷的文件容量累加就是整个系统存储系统中的文件容量；
• 一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷重的多台存储服务器起到冗余备份、负载均衡的效果；
• 卷中增加服务器时，已有的文件同步由系统自动完成，同步完成后，系统自动将新增服务器切换到线上服务；
• 存储空间不足或将耗尽时，可以动态添加卷；需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量；
• FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可

文件上传

Client向Tracker询问存储地址，Tracker查询到存储地址返回给Client，Client拿着地址直接与对应的Storage通讯，将文件上传至Storage；

过程描述

• Storage Server向 Tracker Server定时发送上传状态信息
• Client向Tracker Server发送上传连接请求
• Tracker Server查阅可用的Storage
• Tracker Server向Client返回信息（Storage的IP和端口）
• Clent向Storage Server上传文件（fle content和metadata）
• Storage Server生成file_id
• Storage Server将上传内容写入磁盘
• Storage Server向Client返回file_id（路径信息和文件名）
• Client存储文件信息

文件上传流程图

文件下载

Client带上要查询的文件名和组名，向Tracker询问地址，Tracker查询后台后将地址返回给Client，Client拿着地址和指定Storage通讯并下载文件；

过程描述

• Storage Server向 Tracker Server定时发送上传状态信息
• Client向Tracker Server发送下载连接请求
• Tracker Server查阅可用的Storage（检验同步状态）
• Tracker Server向Client返回信息（Storage的IP和端口）
• Client根据组名、路径、文件名向Storage Server下载文件
• Storage Server查找文件
• Storage Server向Client返回file_content

文件下载流程图