FastDFS简介

FastDFS由跟踪服务器(Tracker Server)存储服务器(Storage Server)客户端(Client)构成。

跟踪服务器Tracker Server

和TFS的NameServer相似,负责接收客户端的请求,选择合适的组合StorageServer ,他们与StorageServer之间也用心跳机制来检查对方是否还活着。

Tracker需要管理的信息也都放在内存中,并且里面所有的Tracker都是对等的,很容易扩展
客户端访问集群的时候会随机分配一个Tracker来和客户端交互。

存储服务器Storage Server

主要负责提供容量和备份服务。
他们是以group为单位,一个group里面的Storage数据互相备份,也就是数据是一样的。这种方法的好处是可以隔离不同应用的数据,比如一个应用的数据放在一个group里面,
缺点也很明显了, 整个group的容量其实就是每一个Stroage的容量,容量会受到限制。
而且部署时候Storage的容量要保持一致,这样可以避免浪费资源
当group里有机子坏掉的时候,数据恢复只能依赖group组内的其他服务器,会比较慢。。。不是很懂,那怎样操作才是快呢。
写操作的时候,storage会将他所挂载的所有数据存储目录的底下都创建2级子目录,每一级256个总共65536个,新写的文件会以hash的方式被路由到其中某个子目录下,然后将文件数据作为本地文件存储到该目录中。

客户端Client

主要是上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx

12350543-aed070574e28cd5b.png
FastDFS集群结构

FastDFS的存储策略

为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
这样做的优点是比较灵活,当你的某个应用或者模块(对应一个group)的访问量超过其他的时候,可以直接在group上面增加若干个storage来实现负载均衡

FastDFS的读取和写入操作

FastDFS向使用者提供基本文件访问接口,比如upload、download、append、delete等,以客户端库的方式提供给用户使用


12350543-dd2412a45053bda1.png
FastDFS的写入流程

12350543-e6c0b88b680359d2.png
FasrDFS的读取流程

FastDFS的文件同步

当客户端将一条数据成功写到一个storage中就算写入成功,他的文件同步是在后台线程上面运行的,这是和TFS不太一样的地方。

FastDFS同步的时候会生成一个binlog,这里包含数据的元信息,storage会记录下他同步的进度,以便关机重启之后可以继续同步,这个进度以时间戳的方式记录,所以需要所有的服务器保持时钟的一致。

他的文件同步机制还带来了一个安全隐患,就是当客户端写入成功之后,进行备份的时候,如果源storage突然爆炸了0.0(就是那种彻底毁坏,数据也丢了,系统也坏了的那种损坏)
这个数据就会丢失。不过感觉一般不太可能爆炸吧0.0

注意:

1.group2同组的Storage2和Storage3 FastDFS服务端口必须一致: port=23000。
2.一台服务器可以装多个组(group)但不能装同组的多个Storage,日志会报错误,日志报错原因是"注意1"
3.Version 4.05之前fastdfs内部绑定了libevent作为http服务器.Version 4.05之后的版本删除了内置的web http服务,内置的web http服务是个累赘,不用也罢!
4.启动storage server时,一直处于僵死状态.启动storage server,storage将连接tracker server,如果连不上,将一直重试。直到连接成功,启动才算真正完成!如果集群中有2台tracker server,而其中一台tracker没有启动,可能会导致storage server一直处于僵死状态

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值