FastDFS

一、简介

1.1 体系结构

• FastDFS是用 c 语言编写的一款开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

• FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

• FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载，通过Tracker server 调度最终由 Storage server 完成文件上传和下载。

• Tracker server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。

• Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。
  

1.2 上传流程

客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。

组名：文件上传后所在的 storage 组名称，在文件上传成功后有storage 服务器返回，需要客户端自行保存。

虚拟磁盘路径：storage 配置的虚拟路径，与磁盘选项store_path*对应。如果配置了

store_path0 则是 M00，如果配置了 store_path1 则是 M01，以此类推。

数据两级目录：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据

文件。

文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储

服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

group1/M00/00/00/CgoYVGMElaiADcLGAAA4RGu2cVc418.jpg

1.3 文件下载流程

二、安装与环境搭建

2.1 安装FastDFS

使用Docker搭建FastDFS的开发环境

1. 启动docker：systemctl start docker
2. 拉取FastDFS镜像：docker pull morunchang/fastdfs
3. 配置网卡（有问题才配置这一步）
4. 运行tracker，使用自带的网卡

docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh

5. 运行storage

docker run -d --name storage --net=host -e TRACKER_IP=192.168.188.128:22122 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh

6. 运行storage

docker run -d --name storage --net=host -e TRACKER_IP=192.168.188.128:22122 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh

使用的网络模式是--net=host, 192.168.188.128是宿主机的IP
group1是组名，即storage的组
如果想要增加新的storage服务器，再次运行该命令，注意更换 新组名

2.2 配置Nginx

Nginx在这里主要提供对FastDFS图片访问的支持，FastDFS容器中已经集成了Nginx，我们需要进入storage的容器内部，修改nginx的配置nginx.conf

1. 进入容器内部
   docker exec -it storage /bin/bash

2. 编辑Nginx配置
   vi /etc/nginx/conf/nginx.conf

3. 添加一下内容

   location ~ /M00 {
        root /data/fast_data/data;
        ngx_fastdfs_module;
   }
   

4. 禁用浏览器缓存
   add_header Cache-Control no-store;

5. 退出容器然后重启storage容器

exit # 退出容器

docker restart storage  # 重启storage容器

6. 一些其他的配置（可选）

docker update --restart=always tracker  # 配置docker启动时，启动tracker
docker update --restart=always storage  # 配置docker启动时，启动storage

# 开放防火墙端口
firewall-cmd --add-port=22122/tcp --permanent
firewall-cmd --add-port=23000/tcp --permanent
firewall-cmd --add-port=8080/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-ports

三、文件存储上传

1. 依赖

   <dependencies>
       <dependency>
           <groupId>cn.bestwu</groupId>
           <artifactId>fastdfs-client-java</artifactId>
           <version>1.27</version>
       </dependency>
       <dependency>
           <groupId>com.offcn</groupId>
           <artifactId>dongyimai-common</artifactId>
           <version>1.0</version>
       </dependency>
   </dependencies>

2. fdfs_client.conf配置
   配置文件名不重要，但必须是.conf后缀

# tracker服务的地址和端口
tracker_server=10.10.24.84:22122

3. 创建测试类

    public static void main(String[] args) throws IOException, MyException {
        // 1. 加载配置文件，路径不能有中文
        ClientGlobal.init("D:\\java\\第四阶段\\project\\dongyimai-parent\\dongyimai-service\\dongyimai-file-service\\src\\main\\resources\\fdfs_client.conf");
        // 2. 创建一个tracker对象
        TrackerClient trackerClient = new TrackerClient();

        // 3、使用 TrackerClient 对象创建连接，获得一个 TrackerServer 对象。
        TrackerServer trackerServer = trackerClient.getConnection();

        // 4、创建一个 StorageServer 的引用，值为 null,由 TrackerServer 分配
        StorageServer storageServer = null;

        // 5、创建一个 StorageClient 对象，需要两个参数 TrackerServer 对象、StorageServer 的引用
        StorageClient storageClient = new StorageClient(trackerServer, storageServer);

        // 6、文件上传 扩展名不带“.
        String[] info = storageClient.upload_file("D:\\java\\uploadFile\\xiaochou.jpg", "jpg", null);
        System.out.println(info.length);
        for (String s : info) {
            System.out.println(s);
        }

测试一个上传输出为：

2
group1
M00/00/00/CgoYVGMElaiADcLGAAA4RGu2cVc418.jpg

访问时：ip:端口/组名/虚拟路径/数据两级目录/文件名