FastDFS单节点安装

本文详细介绍了FastDFS的原理和角色,包括Tracker、Storage和Client。FastDFS是一款轻量级分布式文件系统,专注于解决大容量文件存储问题。文章讲解了FastDFS的上传、下载机制,并提供了单节点安装步骤,包括配置Tracker、Storage和Client,以及FastDFS与Nginx的整合,以防止文件复制延迟导致的访问错误。
摘要由CSDN通过智能技术生成

什么是 FastDFS?
FastDFS 是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件(建议范围:文件大小为 4KB-500MB)为载体的在线服务,如相册网站、视频网站等等。在 UC 基于 FastDFS 开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务。

FastDFS 是一款开源的轻量级分布式文件系统纯 C 实现,支持 Linux、FreeBSD 等 UNIX系统类 google FS,不是通用的文件系统,只能通过专有 API 访问,目前提供了 C、Java 和 PHP API 为互联网应用量身定做,解决大容量文件存储问题,追求高性能和高扩展性 FastDFS 可以看做是基于文件的 key value pair 存储系统,称作分布式文件存储服务更为合适。

FastDFS 服务端有三个角色:跟踪服务器(tracker)、存储服务器(storage)和客户端(client)。

在这里插入图片描述
Tracker:跟踪服务器,主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。不记录文件索引信息,占用的内存量很少。

Tracker 是 FastDFS 的协调者,负责管理所有的 storage 和 group,每个 storage 在启动后会连接 Tracker,告知自己所属的 group 等信息,并保持周期性的心跳,tracker根据 storage 的心跳信息,建立 grou 与 storage 的映射表Tracker 需要管理的元信息很少,会全部存储在内存中;另外 tracker 上的元信息都是由 storage 汇报的信息生成的,本身不需要持久化任何数据,这样使得 tracker 非常容易扩展,直接增加 tracker 机器即可扩展为 tracker cluster 来服务,cluster 里每个 tracker 之间是完全对等的,所有的 tracker 都接受 stroage 的心跳信息,生成元数据信息来提供读写服务。

group :组, 也可称为卷。 同组内服务器上的文件是完全相同的 ,同一组内的storage 之间是对等的, 文件上传、 删除等操作可以在任意一台 storage 上进行 。

Storage:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。Storage 直接利用 OS 的文件系统调用管理文件。Storage 以组(卷,group 或 volume)为单位组织,一个 group 内包含多台 storage 机
器,数据互为备份,存储空间以 group 内容量最小的 storage 为准,所以建议 group内的多个 storage 尽量配置相同,以免造成存储空间的浪费。

以 group 为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制(group 内storage 数量即为该 group 的副本数),比如将不同应用数据存到不同的 group 就能隔离应用数据,同时还可根据应用的访问特性来将应用分配到不同的 group 来做负载均衡;缺点是 group 的容量受单机存储容量的限制,同时当 group 内有机器坏掉时,数据恢复只能依赖 group 内地其他机器,使得恢复时间会很长。

group 内每个 storage 的存储依赖于本地文件系统,storage 可配置多个数据存储目录,比如有 10 块磁盘,分别挂载在 /data/disk1-/data/disk10,则可将这 10 个目录都配置为 storage 的数据存储目录。

storage 接受到写文件请求时,会根据配置好的规则(后面会介绍),选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多,在 storage 第一次启动时,会在每个数据存储目录里创建 2 级子目录,每级 256 个,总共 65536 个文件,新写的文件会以 hash 的方式被路由到其中某个子目录下,然后将文件数据直接作为一个本地文件存储到该目录中。

lient:客户端,作为业务请求的发起方,通过专有接口,使用 TCP/IP 协议与跟踪器服务器或存储节点进行数据交互。FastDFS 向使用者提供基本文件访问接口,比如upload、download、append、delete 等,以客户端库的方式提供给用户使用。

Tracker 相当于 FastDFS 的大脑,不论是上传还是下载都是通过 tracker 来分配资源;客户端一般可以使用 ngnix 等静态服务器来调用或者做一部分的缓存;存储服务器内部分为组,组与组之间是平行的关系,之间不可以通信,可以根据资源的使用情况随时增加,组内服务器文件相互同步备份,以达到容灾的目的,类似于 RAID 1。
上传机制:
在这里插入图片描述
下载机制:
在这里插入图片描述

单节点FastDFS安装
首先在两台虚拟机都安装部署 gcc 环境的依赖包

yum 
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值