FastDFS介绍

1、为什么要有分布式文件系统

单机时代

• 优点：文件访问比较便利，项目直接引用，实现起来简单，无需任何复杂技术，保存文件和访问文件都很方便。
• 缺点：一方面，文件和代码耦合在一起，文件越多存放越混乱。另一方面，如果流量比较大，静态文件访问会占据一定的资源，影响正常业务进行，不利于网站快速发展。

独立文件服务器

• 优点：Web/App服务器可以更专注发挥动态处理的能力。独立存储，更方便做扩容、容灾和数据迁移；方便做图片等资源请求的负载均衡，方便应用各种缓存策略（HTTP Header、Proxy Cache等），也更加方便迁移到CDN。
• 缺点：单机存在性能瓶颈，容灾、垂直扩展性稍差

分布式文件系统

• 优点：扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点；高可用性: 在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行。
• 缺点：系统复杂度稍高，需要更多服务器。

2、分布式存储解决方案对比

指标	适合类型	文件分布	复杂度	FUSE	POSIX	备份机制	通讯协议接口	社区支持	开发语言
FastDFS	4KB~500MB	小文件合并存储不分片处理	简单	不支持	不支持	组内冗余备份	Api http	国内用户群	C
TFS	所有文件	小文件合并，以block组织分片	复杂	不支持	不支持	Block存储多份,主辅灾备	Api http	少	c++
MFS	大于64K	分片存储	复杂	支持	支持	多点备份动态冗余	使用fuse	较多	Perl
HDFS	大文件	大文件分片分块存储	简单	支持	支持	多副本	原生api	较多	Java
Ceph	对象文件块	OSD一主多从	复杂	支持	支持	多副本	原生api	较少	c++
MogileFS	海量小图片	不分片存储	复杂	可以支持	不支持	动态冗余	http原生api	文档少	Perl

3、什么是FastDFS

        FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

        FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

4、FastDFS特性

• 分组存储，灵活简洁、对等结构，不存在单点
• 文件不分块存储，上传的文件和OS文件系统中的文件一一对应
• 文件ID由FastDFS生成，作为文件访问凭证，FastDFS不需要传统的name server
• 和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块
• 中、小文件均可以很好支持，支持海量小文件存储
• 支持多块磁盘，支持单盘数据恢复
• 支持相同内容的文件只保存一份，节约磁盘空间
• 支持在线扩容 支持主从文件
• 存储服务器上可以保存文件属性（meta-data）V2.0网络通信采用libevent，支持大并发访问，整体性能更好
• 下载文件支持多线程方式，支持断点续传

5、FastDFS的构成

FastDFS由客户端(Client)、 跟踪服务器(Tracker Server)和存储服务器(Storage Server)构成。 

客户端（client）

        客户端（client），作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

跟踪器（tracker）

• Trackerserver作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。
• 跟踪器在访问上起负载均衡的作用。可以随时增加或下线而不会影响线上服务。

存储节点（storage）

• Storageserver作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。
• 存储节点中的服务器均可以随时增加或下线而不会影响线上服务。