【SpringBoot框架篇】24.集成FastDFS实现文件的分布式存储

已于 2024-01-10 20:04:53 修改
阅读量2.1k 收藏 5
点赞数 3
分类专栏： SpringBoot 文章标签： java spring boot restful
于 2021-11-26 08:34:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ming19951224/article/details/121529384
版权

文章目录

1.简介

如果应用是在集群部署,如果文件存储需要共享要通过linux的nfs服务来实现共享，或者把文件存储在分布式文件存储系统里面,例如FastDFS,minio,本章讲解集成FastDFS实现分布式文件存储。
FastDFS环境搭建请参考https://dominick-li.blog.csdn.net/article/details/121529247

2.添加配置

2.1.在maven的pom.xml中添加fastDfs依赖包

        <!-- FastDFS依赖 -->
        <dependency>
            <groupId>com.github.tobato</groupId>
            <artifactId>fastdfs-client</artifactId>
            <version>1.27.2</version>
        </dependency>

2.2.修改应用配置文件

编辑application.yml文件

spring:
  application:
    name: fastdfs
  servlet:
    multipart:
      enabled: true
      max-file-size: 10MB
      max-request-size: 20MB
fdfs:
  # 连接超时   默认值(60)
  connect-timeout: 6000
  # 读取时间   默认值(60)
  so-timeout: 6000
  # 生成缩略图参数
  thumb-image:
    enabled: true
    width: 250
    height: 150
  #Tracte服务的ip和端口,多个可以用逗号隔开,或者通过nginx做一个负载均衡然后配置一个即可。  
  tracker-list: 192.168.94.128:22122

server:
  port: 8024

3.添加工具类

下面定义了上传文件,下载文件,删除文件的方法.

package com.ljm.boot.fastdfs.config;

import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.domain.proto.storage.DownloadByteArray;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;
import org.springframework.web.multipart.MultipartFile;
import javax.annotation.Resource;

/**
 * @author Dominick Li
 * @CreateTime 2020/3/29 17:56
 * @description 操作dfs 工具类
 **/
@Component
public class FileDfsUtil {

    private static final Logger LOGGER = LoggerFactory.getLogger(FileDfsUtil.class);

    @Resource
    private FastFileStorageClient storageClient;

    @Value("${fdfs.thumb-image.enabled}")
    private boolean thumbEnabled;

    /**
     * 上传文件
     */
    public String upload(MultipartFile multipartFile) throws Exception {
        String originalFilename = multipartFile.getOriginalFilename().
                substring(multipartFile.getOriginalFilename().
                        lastIndexOf(".") + 1);
        StorePath storePath = null;
        if (thumbEnabled) {
            //上传文件并生成缩略图,如果返回的图片名称 test.jpg,则缩略图的名称是test_宽x高.jpg,例如test_250x150.jpg
            storePath = this.storageClient.uploadImageAndCrtThumbImage(multipartFile.getInputStream(), multipartFile.getSize(), originalFilename, null);
        } else {
            //上传文件
            storePath = this.storageClient.uploadFile(multipartFile.getInputStream(), multipartFile.getSize(), originalFilename, null);
        }
        return storePath.getFullPath();
    }


    /**
     * 删除文件
     */
    public void deleteFile(String fileUrl, boolean hasThumbnail) {
        try {
            StorePath storePath = StorePath.parseFromUrl(fileUrl);
            storageClient.deleteFile(storePath.getGroup(), storePath.getPath());
            if (hasThumbnail) {
                //删除缩略图
                String[] arr = fileUrl.split("\\.");
                String thumbnailFileUrl = arr[0] +"_"+ width + "x" + height + "." + arr[1];
                storePath = StorePath.parseFromUrl(thumbnailFileUrl);
                storageClient.deleteFile(storePath.getGroup(), storePath.getPath());
            }
        } catch (Exception e) {
            LOGGER.info(e.getMessage());
        }
    }

    /**
     * 下载文件
     */
    public byte[] downloadFile(String fileUrl) {
        StorePath storePath = StorePath.parseFromUrl(fileUrl);
        return storageClient.downloadFile(storePath.getGroup(), storePath.getPath(), new DownloadByteArray());
    }
}

4.测试接口编写

package com.ljm.boot.fastdfs.controller;

import com.ljm.boot.fastdfs.config.FileDfsUtil;
import org.springframework.http.ResponseEntity;
import org.springframework.util.StringUtils;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;

import javax.annotation.Resource;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;

/**
 * @author Dominick Li
 * @CreateTime 2020/3/29 17:56
 * @description 测试上传下载和删除
 **/
@RestController
@RequestMapping("/file")
public class FileController {

    @Resource
    private FileDfsUtil fileDfsUtil;

    /**
     * 测试FastDFS文件上传
     * 如果要生成缩略图,则缩略图的名字为图片后缀加_图片宽*高
     * 使用接口返回的名称和nginx的访问地址拼接即可在浏览器访问 http://192.168.94.128:9999/group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg
     * 如果正常图片是group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg 则缩略图为  group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436_250x150.jpg
     */
    @PostMapping(value = "/")
    public ResponseEntity<String> uploadFile(MultipartFile file) {
        String result;
        try {
            String path = fileDfsUtil.upload(file);
            if (!StringUtils.isEmpty(path)) {
                result = path;
            } else {
                result = "上传失败";
            }
        } catch (Exception e) {
            e.printStackTrace();
            result = "服务异常";
        }
        return ResponseEntity.ok(result);
    }

    /**
     * 文件删除
     * http://localhost:8024/file/fileUrl=group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg&hasThumbnail=true
     * @param fileUrl 上传接口返回的文件名
     * @param hasThumbnail 是否有缩略图
     */
    @DeleteMapping(value = "/")
    public ResponseEntity<String> deleteByPath(String fileUrl,@RequestParam(value = "hasThumbnail",required = false,defaultValue = "false") boolean hasThumbnail) {
        fileDfsUtil.deleteFile(fileUrl,hasThumbnail);
        return ResponseEntity.ok("SUCCESS");
    }

    /**
     * 文件下载
     * http://localhost:8024/download?fileUrl=group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg
     * @param fileUrl 上传接口返回的文件名
     */
    @GetMapping("/")
    public void downLoad(@RequestParam String fileUrl, HttpServletResponse response) throws IOException {
        // 获取文件
        byte[] bytes = fileDfsUtil.downloadFile(fileUrl);
        String fileName = fileUrl.substring(fileUrl.lastIndexOf("/") + 1);
        response.reset();
        response.setContentType("application/x-download");
        response.addHeader("Content-Disposition", "attachment;filename=\"" + fileName + "\"");
        response.getOutputStream().write(bytes);
        response.getOutputStream().close();

    }
}

5.测试

5.1.上传图片

通过postman调用localhost:8024/file/接口进行文件上传
在这里插入图片描述
把nginx的访问地址和文件名拼接即可访问图片
访问原图: http://192.168.94.128:9999/group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg
访问缩略图: http://192.168.94.128:9999/group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436_250x150.jpg
在这里插入图片描述
在这里插入图片描述

5.2.下载图片

浏览器访问: http://localhost:8024/file/?fileUrl=group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg
可以看到浏览器左下角有一张图片下载成功.
在这里插入图片描述

5.3.删除图片

通过postman请求接口，请求类型选择DELETE
http://localhost:8024/file/fileUrl=group1/M00/00/00/wKhegGGeylOAJx8yAB7ib2v_DBQ436.jpg
在这里插入图片描述
删除成功再次通过浏览器访问图片会发现图片已经找不到了，但是缩略图没有删掉。
在这里插入图片描述

6.项目配套代码

gitee代码地址

创作不易,要是觉得我写的对你有点帮助的话,麻烦在gitee上帮我点下 Star

【SpringBoot框架篇】其它文章如下,后续会继续更新。

皓亮君
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
k8s 集群之使用 nfs 网络存储挂载外部目录和文件
Sanchar
01-04 2万+
如果使用 k8s 部署 mysql、redis、minio等数据和文件存储服务，k8s 默认容器如果重建，则容器中的数据文件将会丢失，所以为了解决这些问题，通常就需要将容器中需要持久化的文件存储到其它可持久化存储目录中。 如果使用 k8s 部署 springboot 项目，那么项目的日志文件也是需要存储到其它可持久化存储目录中。 k8s存储支持多种模式，本地存储，传递网络存储，分布式网络存储，以及云存储等，本章节讲的是传递网络存储中的 nfs 网络存储，通过 nfs 挂载 springboot 项目的日志文
springboot2.0如何通过fastdfs实现文件分布式上传
08-25
主要介绍了springboot2.0如何通过fastdfs实现文件分布式上传,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
spring boot集成文件上传插件（x-file-storage），同时支持本地、FTP、SFTP、阿里云 OSS、腾讯云 COS、MinIO、 Amazon S3等各种文件存储方式解决方案
Json的知识梦工厂
04-15 797
在开发管理系统 ，因为系统要求 要同时支持 本地、FTP、SFTP、阿里云 OSS、腾讯云 COS、MinIO、 Amazon S3 这几种文件存储的上传方式 ，如果一一开发 肯定开发到花都谢了。 经过搜索 发现了一个好用的插件 x-file-storage 官方地址：https://x-file-storage.xuyanwu.cn/#/废话不多说 还是直接看代码 spring 版本 啥的 就不说了因为我们的文件上传的 基础参数配置是在 nacos 和数据库里 所以 采用的是动态 切换 存储方式 没有把
【业务功能111】微服务-springcloud-springboot-Kubernetes集群-PaaS云平台Kubesphere部署-NFS持久存储-开启devops功能
studyday1的博客
09-13 181
在安装之前，需要配置kubernetes上的默认存储类型。
【SpringBoot高级篇】SpringBoot集成fastDFS文件上传
输入技术、输出想法
04-29 3351
SpringBoot整合fastDFSfastDSF介绍fastDSF工作原理fastDSF架构1）Tracker2）Storage3）Storage状态收集文件上传流程文件下载流程fastDFS入门fastDFS安装与配置FastDFS 安装环境安装 `libevent`安装 `libfastcommon`tracker 编译安装配置启动FastDFS--storage 安装配置 FastDFS--storage启动上传图片测试通过 fdfs_test 程序FastDFS 和 nginx 整合nginx
spring boot + minio 分布式文件上传
weixin_49107940的博客
06-07 1750
简单理解为：一个计算机无法存储海量的文件，通过网络将若干计算机组织起来共同去存储海量的文件，去接收海量用户的请求，这些组织起来的计算机通过网络进行通信。一台计算机的文件系统处理能力扩充到多台计算机同时处理。一台计算机挂了还有另外副本计算机提供数据。每台计算机可以放在不同的地域，这样用户就可以就近访问，提高访问速度。官网：https://min.io中文：https://www.minio.org.cn/，http://docs.minio.org.cn/docs/
springboot gofastdfs高性能高可用分布式文件存储系统demo
08-01
springboot gofastdfs高性能高可用分布式文件存储系统demo，适合所有涉及的Java开发
基于NFS+SpringBoot+docker+Nginx的文件上传下载功能实现
guoyufeng1314的博客
12-17 1844
基于NFS+SpringBoot+docker+Nginx+Rancher的文件上传下载功能实现1.首先认定一台机器作为你的文件服务器进行共享目录配置2.将共享目录挂载到你的服务器上作为上传使用3.将共享目录挂载到nginx所处的服务器下并配置4. 配置宿主主机持久卷到你的服务器集群中新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是
解决：pom文件中引入依赖fastdfs时，依赖报红，无法拉去依赖。
g13197895299的博客
06-14 2017
解决：pom文件中引入依赖fastdfs时，依赖报红，无法拉去依赖。无法拉取fastdfs-client-java依赖。
Spring Boot如何实现分布式文件系统
it_xushixiong的博客
06-01 1006
在分布式系统中，分布式文件系统是非常重要的一部分，可以帮助开发人员实现大规模数据存储和访问。本文介绍了使用 FastDFS 实现分布式文件系统的示例代码。在实际使用中，需要根据具体场景选择合适的工具和方案，并注意文件的存储和访问性能，确保系统的可靠性和性能。
FastDFS入门
qq_52942832的博客
03-15 217
FastDFS是用 c 语言编写的一款开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
集成FastDFS实现文件的分布式存储.zip
08-26
基于springboot框架实现一些常用的功能
SpringBoot 结合分布式文件系统FastDFS实现文件上传springboot-fastdfs.zip
最新发布
05-14
该项目利用了基于springboot + vue + mysql的开发模式框架实现的课设系统，包括了项目的源码资源、sql文件、相关指引文档等等。 【项目资源】：包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理...
SpringBoot 结合分布式文件系统FastDFS实现文件上传.zip
03-23
该系统可以帮助学生理解并掌握软件开发的全过程，包括需求分析、系统设计、编码实现以及测试部署等。
基于SpringBoot结合分布式文件系统FastDFS实现的文件上传实例demo，可拿来直接嵌入到自己的系统中
06-20
基于SpringBoot结合分布式文件系统FastDFS实现的文件上传实例demo，可拿来直接嵌入到自己的系统中 文件上传后的路径： group1/M00/00/43/wKgCYVwhkTOAUxZ1AGf8LohRDBw966.jpg 解读： 一、组名：文件上传后所在...
Centos7配置fastdfs和nginx分布式文件存储系统实现过程解析
09-14
主要介绍了centos7配置fastdfs及nginx并实现分布式文件存储系统,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
spring boot 连接fastDFS
lilovfly的专栏
05-30 5766
趁这段假期，好好试着安装一下fastDFS，顺便试试文件的上传与删除，为何要试试这个？鉴于我当前做的那个项目，考虑到，我们把下载任务的异步处理，放到了一个文件夹中，而这个服务是分布式的，而后面的文件查看是集中的，如何解决这个问题？当前是只有一个服务端，所以用一个文件夹中是没有什么问题的。要是分布式下如何对文件进行同步与管理，我问了头头加上我了解的，就是f采用astdfs与nfs这两种，经我自己安装
spring boot整合mybatis
ilovewqf的博客
06-16 583
Spring整合mybatis其实很简单啊。 首先是一个jar包的问题，使用maven可以很方便地配置<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <gro
Springboot 文件上传和下载 实用！！！
咸鱼的博客
01-05 409
文件上传下载这个东西在项目中基本上是必需品，从网上找了许许多多的方法一般都在本地实现的，但是实际工作的都是要存储到服务器的，下面介绍存储到linux下的一种方法，有不足请多多指教。 这类建一个配置，把公共属性封装起来，在控制层直接注入就可以了 @Setter @Getter public class GlobalConfig { /** * 服务器内文件路径 */ private String uploadPath; private String fileUrl; private String fi
springboot 实现 文件上传到fastdfs
05-25
要在Spring Boot中实现文件上传到FastDFS，需要使用FastDFS客户端和Spring Boot的MVC框架。下面是一个基本的实现过程： 1. 添加FastDFS客户端依赖 在pom.xml文件中添加FastDFS客户端依赖，如下所示： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

皓亮君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值