fastDFS及搭建过程

1.fastDFS介绍

fsatDFS是以C语言开发的一项开源轻量级的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2.fsatDFS构成

2.1 Tracker server追踪服务器

Tracker server负责接收客户端的请求，选择合适的组合storage server。Tracker server和storage server之间也会用心跳机制来检测对方是否活着。

Tracker需要管理的信息都放在内存中，并且里面所有的Tracker都是对等的（每个节点地位相同），容易扩展

客户端访问集群的时候会随机分配一个Tracker来和客户端交互

2.2 Storage server 储存服务器

存储数据分成若干个组（group），实际traker就是管理的storage中的组，而组内机器中则存储数据，group可以隔离不同应用的数据，不同的应用的数据放在不同group里面

优点：海量存储：主从型分布式存储，存储空间方便拓展

fastDFS对文件内容做hash处理，避免出现重复文件，然后集成nginx，提供网站效率

2.3 Client 客户端

主要是上传下载数据的服务器，即自己项目部署所在的服务器。每个客户服务器都需要安装nginx

3.文件上传、下载流程

3.1 文件上传

写操作的时候，storage会将他所挂载的所有数据存储目录的底下都创建2级子目录，每一级256个总共65536个，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据作为本地文件存储到该目录中。如果返回类似group1/M00/00/00/rBIK6VcaP0aARXDSNFHrUgHEviQ394.jpg的file_id则说明文件上传成功

3.2 文件下载

当客户端向Tracker发起下载请求时，并不会直接下载，而是先查询storage server（检测同步状态），返回storage server的ip和端口，
然后客户端会带着文件信息（组名，路径，文件名），去访问相关的storage，然后下载文件。

3.3 上传文件的文件名

客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。

文件索引信息=组名+虚拟磁盘路径+数据两级目录+文件名

例如：group1/M00/00/00/rBIK6VcaP0aARXDSNFHrUgHEviQ394.jpg

1. 组名：文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存。
2. 虚拟磁盘路径：storage配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。
3. 数据两级目录：storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
4. 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

3.4 安装过程

https://www.jianshu.com/p/b7c330a87855

https://www.cnblogs.com/sunnydou/p/49b92d511047f4f9da6cd727cfd415d5.html