【FastDFS】分布式文件系统简介

1.FastDFS是什么

  FastDFS是用c语言编写的一款开源的分布式文件系统

2.为什么用FastDFS

  FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容(只需添加storage即可，不用停服务就可完成扩容，很是方便)等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务

3.如何使用FastDFS

  FastDFS架构包括 2部分：Tracker server和Storage server，客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。
  Tracker server:作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。
  Storage server:作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。
FastDFS架构如下：

  Client:客户端，用户操作的一端
  Tracker群：由1个或多个tracker服务器组成，每个tracker节点之间地位平等，客户端请求tracker server采用轮询的方法，如果 请求的tracker不能提供服务就换另一个tracker，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心 跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表
  Storage群：以组[group]为单位（也可以将一个组看成一个卷[volume]，不同材料称呼不同），实际保存文件的服务器，由1个或多个storage服务器组成，分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念，集群的总容量为所有组的总和

---

3.1文件上传流程

  客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。

• 组名：文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存。

• 虚拟磁盘路径：storage配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。

• 数据两级目录：storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。

• 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

3.2 文件下载流程

   实际中的应用： 因为我们在上传的过程中将返回的ID保存到数据库中了，所以在下载的时候，我们直接从数据库中把ID取出，然后去storage上根据此ID去取就可以了

4. 选择规则

---

4.1 选择storage的group规则（tracker.conf）

• 0：Round robin，所有的group间轮询
• 1：Specified group，指定某一个确定的group
• 2：Load balance，剩余存储空间多多group优先，默认store_lookup=2

---

4.2 选择storage server规则（当选定group后，tracker会在group内选择一个storage server给客户端）（tracker.conf）

• 0：Round robin，在group内的所有storage间轮询,默认store_server=0
• 1：First server ordered by ip，根据IP地址选择一个最小的
• 2：First server ordered by priority，按优先级排序（优先级在storage上配置）

---

4.3 选择storage path（tracker.conf）

（当分配好storage server后，客户端将向storage发送写文件请求，storage将会为 文件分配一个数据存储目录，安装时已设置图片存储配置的路径是存储目录）

• 0：Round robin，多个存储目录间轮询，默认store_path=0
• 2：剩余存储空间最多的优先

---

4.4 选择哪个storage作为下载文件服务（tracker.conf）

• 0：轮询，默认download_server=0
• 1：与上传文件服务一致

5.单个storage能存多少

• 个人认为取决服务器配置，但是storage.conf配置文件中file_distribute_path_mode（文件在data目录下分布存储策略，0为轮询，1：随机根据文件名对应的hashcode存储），默认为轮询方式：file_distribute_path_mode=0，同时file_distribute_rotate_count（file_distribute_path_mode为0时有效，当一个目录下的文件存放的文件数达到本参数值时，后续上传的文件存储到下一个目录），默认每个目录下最多存放100个文件：file_distribute_rotate_count=100。综上：个人认为容量没有限制，限制的是存储的个数。
• 但是在测试上传个数时，发现此个数是指文件上传的个数（上传一个文件后会产生多个附加文件），且该值是两个目录的总值
• 如果是奇数如5，则一个目录放2个，另一个目录放3个；如果是偶数，则平分
• 测试中还发现，每个文件夹中存放的文件数量应该是放到一个文件中了，因为我存储的文件已经到了00/07目录下，然后我收到的把所有目录下的文件都删除，按理来说，下次应存放在00/00下，但是它还是从00/07目录开始存

推荐：相关配置说明