docker安装FastDFS及SpringBoot项目整合FastDFS完成文件上传和下载

最新推荐文章于 2024-06-26 16:37:42 发布
最新推荐文章于 2024-06-26 16:37:42 发布
阅读量701 收藏 2
点赞数 4
分类专栏： FastDfs 文章标签： docker fastdfs nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42998034/article/details/118160947
版权

一、概念

1、FastDFS是啥？

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

在这里插入图片描述

2、包括啥？

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。

  • 跟踪器主要做调度工作，在访问上起负载均衡的作用。

  • 存储节点用来存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。

3、上传文件交互过程

  1. client询问tracker上传到的storage，不需要附加参数；
  2. tracker返回一台可用的storage；
  3. client直接和storage通讯完成文件上传。

4、下载文件交互过程

  1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
  2. tracker返回一台可用的storage；
  3. client直接和storage通讯完成文件下载。

二、Docker安装FastDFS

1、 拉取镜像

docker pull delron/fastdfs

2、构建tracker容器（跟踪服务器，起调度作用）

docker run -d --network=host --name tracker -v /mydata/fastdfs/tracker:/var/fdfs delron/fastdfs tracker

3、构建storage容器 （存储文件、文件管理）

docker run -d --network=host --name storage -e TRACKER_SERVER=47.94.93.93:22122 -v /mydata/fastdfs/storage:/var/fdfs -e GROUP_NAME=group1 delron/fastdfs storage

4、配置nginx

默认配置不修改也可以，如果外部端口与8888冲突，则可修改下端口号

  1. 使用 docker exec -it storage /bin/bash进入storage容器
  2. 进入/usr/local/nginx/conf目录下，打开nginx.conf文件
    在这里插入图片描述
    3.进入/etc/fdfs目录，打开storage.conf文件
    在这里插入图片描述
    此处端口号和nginx监听的端口号一致

5、测试上传文件

  1. 在启动storage的时候，我们将 /mydata/fastdfs/storage 挂载到了容器中/var/fdfs的位置，此时我在宿主机上对应位置放一张图片
    在这里插入图片描述

  2. 使用docker exec -it storage /bin/bash进入storage容器

  3. 运行如下命令

     /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /var/fdfs/backend.png

    在这里插入图片描述
    此时该图片已上传至文件系统

  4. 使用url进行访问 http://ip:port/group1/M00/00/00/rBa6BWDUSsGAbcr-AAf-SZhISJQ290.png
    在这里插入图片描述
    至此,fastdfs 安装完成.

三、SpringBoot中的使用

1.添加maven依赖

<dependency>
        <groupId>com.github.tobato</groupId>
        <artifactId>fastdfs-client</artifactId>
        <version>1.27.2</version>
</dependency>

2.在application.yml中添加配置

fdfs:
  connect-timeout: 6000 #连接超时时间
  so-timeout: 6000	      #读取超时时间
  tracker-list: 47.94.93.93:22122 #tracker服务所在的ip地址和端口号

3.上传和下载文件具体代码

import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.junit.platform.commons.util.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;

@RestController
@RequestMapping("fdfs")
public class CenterUserController {

    @Autowired
    private FastFileStorageClient fastFileStorageClient;

    @PostMapping("upload")
    public String uploadFace(MultipartFile file) throws Exception {
        String path = "";
        if (file != null) {
            // 获得文件上传的文件名称
            String fileName = file.getOriginalFilename();
            if (StringUtils.isNotBlank(fileName)) {
                String fileNameArr[] = fileName.split("\\.");
                //获取文件的后缀名
                String suffix = fileNameArr[fileNameArr.length - 1];

                StorePath storePath = fastFileStorageClient.uploadFile(file.getInputStream(),
                        file.getSize(),
                        suffix, null);
                System.out.println(storePath.getFullPath());
                path = storePath.getFullPath();
            } else {
                throw new RuntimeException("文件名不能为空");
            }
        }
        return path;
    }
	
	@GetMapping("/download")
	public void downloadFile(String fileUrl, HttpServletResponse response) throws IOException {

        String group = fileUrl.substring(0, fileUrl.indexOf("/"));
        String path = fileUrl.substring(fileUrl.indexOf("/") + 1);

        String[] ss = fileUrl.split("\\.");
        String suffix = ss[ss.length-1];
        String fileName = System.currentTimeMillis()+"."+suffix;

        DownloadByteArray downloadByteArray = new DownloadByteArray();
        byte[] bytes = fastFileStorageClient.downloadFile(group, path, downloadByteArray);

        response.setHeader("Content-disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8"));
        response.setCharacterEncoding("UTF-8");
        ServletOutputStream outputStream = null;
        try {
            outputStream = response.getOutputStream();
            outputStream.write(bytes);
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                outputStream.flush();
                outputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

测试结果：
在这里插入图片描述
在这里插入图片描述

四、问题

1.在测试过程中，可以上传文件，但是使用url访问的时候访问不到。

这个问题困扰了我好久，最后经过排查，发现自己下载镜像不对，下载成了season/fastdfs这个镜像，按照上文内容应该是下载delron/fastdfs。

其实使用season/fastdfs镜像部署完成后，我通过挂载的方式将上传文件的存储目录放在了宿主机的目录里，然后在外部再启动一个nginx，将该目录又挂载到nginx容器内部，这样的话，也可以实现使用nginx访问文件的需求。

所以我的理解就是delron/fastdfs这个版本的镜像是比较全的，含有fastdfs以及nginx以及其相关的配置，所以当tracker和storage两个容器启动之后，storage内部会自动启动nginx，所以可以使用nginx配置文件中监听的ip和port进行访问。

而season/fastdfs没有内置nginx以及其相关的配置，需要自己手动去添加并配置。需要在启动了tracker和storage容器之后，在storage容器内部下载nginx及其相关的配置并启动，才能在外部使用nginx配置文件中监听的ip和port进行访问。

2.在文中，只是实现了FastDfs单组存储配置的搭建,多组存储配置仅提供思路。

storage集群的配置

  1. 在多个服务器上部署storage容器，修改容器内的storage.conf和mod_fastdfs.conf，将tracker_server指向同一个ip:port

  2. 在一个storage容器中部署多卷，则需要修改配置mod_fastdfs.conf，

    group_count = 0 #0代表单组，非零代表多组，一般设置几就为几组
    在这里插入图片描述

tracker集群的配置
  1. 多个服务器部署tracker容器，并在tracker前使用nginx对多台tracker进行反向代理，负载均衡管理。
  2. 修改所有storage容器中的storage.conf和mod_fastdfs.conf，将其tracker_server配置成多台机器
    在这里插入图片描述

五 应用场景:

三台服务器分别做三组存储，并且需要两台tracker地址做主备关系，当一台down机后需要另外一台可以提供正常的访问连接

需要保障数据不丢失，可以分别每台存储配置两组group(相同group之间数据会自动备份) ，三台服务器group分别为:

第一台服务器:group1  group2
第二台服务器:group1 group3
第三台服务器:group2 group3

在这里插入图片描述

加州暖阳
关注
专栏目录
docker安装fastdfs详细教程
DN金猿的博客
06-18 236
安装fastdfs，排行最靠前的是镜像season/fastdfs，但是这个镜像不能运行多个storage，启动多个会造成端口占用的问题，而且有的版本好像带nginx比如1.2，有的版本又不带nginx比如latest。使用delron/fastdfs镜像，只需要启动两个容器，一个tracker，一个storage即可。fastdfs是一个开源的分布式文件系统，在实际使用中，通过源码编译安装过程非常复杂，但是通过docker快速构建却非常容易。下面介绍通过docker安装fastdfs的方法。
docker+fastdfs+springboot一键式搭建分布式文件服务器
qq_37759106的博客
10-09 8986
首先说一下从零开始自己去搭一个fastdfs有多不顺，搭起来步骤繁琐,很麻烦，后来看到有人把做好的docker镜像传出来了，那搭建起来就很容易了 有服务器的可以自己在服务器上玩玩,没有的可以新建一个centos7.5虚拟机玩玩，遇到虚拟机不能上网和换阿里云的源的问题可以参考https://blog.csdn.net/qq_37759106/article/details/82985113这篇文章...
Spring Boot FastDFS
11-01
Spring Boot将文件上传到分布式文件系统FastDFS。 resources目录下添加fdfs_client.conf文件 connect_timeout = 60 network_timeout = 60 charset = UTF-8 http.tracker_http_port = 8080 http.anti_steal_token = no http.secret_key = 123456 tracker_server = 192.168.53.85:22122 tracker_server = 192.168.53.86:22122
springboot整合fastdfs实现上传和下载
desfmgs5372的博客
06-14 496
FastDFS_Client源码 https://github.com/tobato/FastDFS_Client 友情提示：由于FastDFS_Client这个源码不是很多，并且目前没有找到相关文档，有问题请优先查看作者的源码和单元测试，其次再百度~ 我的DEMO 项目包目录结构 springboot版本 <parent> <groupId&...
docker部署FastDFS整合Springboot
最新发布
黑桃A的博客
06-26 1128
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。（5）创建serviceImpl实现类。（3）创建controller类。（4）创建service接口。（2）加入maven依赖。（3）修改配置文件yml。
Docker部署springboot jar文件
weixin_41367613的博客
09-03 368
1、使用docker部署springboot项目打成的jar包。 2、将打好的jar包和dockerfile文件放在同级目录下。（dockerfile如下：） # 基础镜像使用java FROM java:8 # 作者 MAINTAINER yin <2481771431@qq.com> # VOLUME 指定了临时文件目录为/tmp。 # 其效果是在主机 /var/lib/docker 目录下创建了一个临时文件，并链接到容器的/tmp VOLUME /tmp # 将jar包添加到容...
文件上传下载
chennanyin0248的博客
04-11 95
package com.daling.util.file; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.File...
springboot中用Fast DFS分布式系统实现文件的上传下载
qq_51891433的博客
06-09 1232
其中@Autowired注入了FastFileStorageClient，使用该客户端的uploadFile方法进行文件上传，通过downloadFile的方式下载指定路径下的文件。二、在application.yml配置文件中配置FastDFS客户端，包括连接超时、网络超时、字符集等参数的设置以及FastDFS服务器的地址和端口号等信息。三、使用@Autowired注入FastDFS客户端对象，在需要上传或下载文件的控制器中调用FastDFS提供的API接口。2.配置FastDFS客户端。
docker安装FastDFS
01-07
1.下载FastDFS文件系统的docker镜像 docker pull delron/fastdfs 2.使用docker镜像构建tracker容器 docker run -d --name tracker -v ${HOME}/xiongpeng/docker/fastdfs/tracker:/var/fdfs delron/fastdfs tracker...
springboot+docker
04-10
本压缩包包含两本数据，springboot参考手册和docker部署
Springboot+FastDFS上传下载文件
yyayq的博客
06-01 330
启动FastDFS 首先按照我的FastDFS安装启动步骤启动Tracker，Storage，Nginx。确保成功之后再进行下一步 创建springboot项目 打开IDEA，点击右上角File，点击New—>Project 选择Springboot框架，点击Next 这里可以就默认，点击Next 这里的依赖把Web里面的Spring Web加上就行了，其实也可以不加，然后点击Next 设置Project name之后点击finish，项目就创建完成了 编写代码 1、首先得添加依赖，这里我提供
springboot文件上传下载（fastdfs，七牛云，本地）
胖虎儿的博客
05-13 7639
springboot文件上传下载（fastdfs，七牛云，本地） 在实际开发中 ，基本都会有应用到文件上传的场景，但随着或多或少的需求问题 ，所采用的技术方案也不尽相同 ，有用 fastdfs 文件存储服务器的，有用七牛云的，有直接就将文件传到自己部署的服务器上的（win 开发存放某一盘符，linux 存放某一路径下） 本文主要是使用springboot 整合文件上传就一共分为了此三个大模块 （1）springboot-fastdfs 此文章之前以作为了独立博客进行发布 点击springoot-fastd
SpringBoot整合fastdfs实现上传和下载
郑某某的博客
01-15 2610
SpringBoot整合fastdfs实现上传和下载
(二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能
厉害哥哥的博客
02-17 933
本节内容我们主要介绍一下如何在springboot项目中集成fastdfs组件，实现文件的上传与下载。关于fastdfs服务中间键的安装过程，本节内容不做介绍。fastdfs是一个轻量级的分布式文件系统，也是我们文件存储中常常使用的组件之一，主要包括文件存储、文件同步、文件访问，实现了文件存储和负载均衡的问题。
使用Docker运行FastDFS实现上传和下载文件
73
04-23 371
Docker安装运行FastDFS 1、获取FastDFS镜像 # 两种方式 1. 从仓库拉取镜像 sudo docker image pull delron/fastdfs 2. 解压本地镜像 sudo docker load -i 文件路径/fastdfs_docker.tar 2、开启tracker容器 将tracker运行目录映射到宿主机的 /var/fdfs/tracker 目录中(前提在宿主机的var目录下已经创建了 fdfs 文件夹) sudo docker run -dit --name=
docker容器+fastdfs搭建文件服务器--springboot整合文件服务器实现文件上传, 下载, 删除
个人博客
03-11 1218
docker容器+fastdfs搭建文件服务器Linux安装dockerdocker拉取fastdfs镜像构建容器构建tracker容器（跟踪服务器，起到调度的作用）构建storage容器（存储服务器，提供容量和备份服务）配置storage端口和Nginx端口(尽量一致)配置storage端口配置nginx端口关闭防火墙(最好是暴露端口) Linux安装docker docker拉取fastdfs镜像 该镜像已经整合了nginx 构建容器 构建tracker容器（跟踪服务器，起到调度的作用） 创建挂载目
SpringBoot整合FastDFS实现文件的上传、下载和删除
yuwenS的博客
06-17 1788
SpringBoot整合FastDFS实现文件的上传、下载和删除 前期准备 具体准备跟Java实现实现文件的上传、下载和删除一样 可以看这里参考：https://blog.csdn.net/qq_45334037/article/details/117931295?spm=1001.2014.3001.5501 具体实现 新建一个springboot工程在pom.xml导入的jar包，这个jar包是自己打包的 <dependency> <groupId&
Docker与FastDFS安装教程及使用解析
"这篇文章主要讲解了Docker与FastDFS的安装和使用方法，旨在帮助读者理解和掌握这两种技术。Docker以其快速、逻辑清晰、高效开发周期以及面向服务的架构特性，成为了开发和运维的得力工具。而FastDFS是一种开源的高...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值