文件存储服务-spring-file-storage

最新推荐文章于 2024-04-30 00:31:32 发布
最新推荐文章于 2024-04-30 00:31:32 发布
阅读量1.5k 收藏 21
点赞数 13
分类专栏： mysql 文章标签： spring java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21880261/article/details/134594512
版权

文章目录

1.1 简介

开源项目spring-file-storage，在 SpringBoot 中通过简单的方式将文件存储到 本地、FTP、SFTP、WebDAV、谷歌云存储、阿里云OSS、华为云OBS、七牛云Kodo、腾讯云COS、百度云 BOS、又拍云USS、MinIO、 AWS S3、金山云 KS3、美团云 MSS、京东云 OSS、天翼云 OOS、移动云 EOS、沃云 OSS、 网易数帆 NOS、Ucloud US3、青云 QingStor、平安云 OBS、首云 OSS、IBM COS、其它兼容 S3 协议的平台。

在这里插入图片描述

1.2 架构图

在这里插入图片描述

1.3 实现逻辑

1、核心实现逻辑是定义文件存储接口FileStorage，在FileStorage内抽象若干功能方法，目前支持的功能包括获取云服务商平台、设置平台、保存文件、上传文件、删除文件、下载文件、下载缩略图文件、 释放相关资源等，后各存储服务提供商根据其SDK实现对应方法。
在这里插入图片描述

@Getter
@Setter
public class AliyunOssFileStorage implements FileStorage {
    /* 存储平台 */
    private String platform;
    private String accessKey;
    private String secretKey;
    private String endPoint;
    private String bucketName;
    private String domain;
    private String basePath;
    private OSS client;
    
    // 封装实现ossSDK
    public boolean save(FileInfo fileInfo, UploadPretreatment pre) {
    
    }
}

2、除此之外，还定义了多个切面调用链，支持在文件上传、下载、删除等过程中输出相关日志信息，只需要实现FileStorageAspect接口就可以自定义切面，并支持动态增减切面。
在这里插入图片描述
在这里插入图片描述

//获得切面 List
CopyOnWriteArrayList<FileStorageAspect> list = fileStorageService.getAspectList();

//增加
FileStorageAspect aspect = new LogFileStorageAspect();
list.add(aspect);

//删除
list.remove(aspect);

//条件删除
list.removeIf(item -> item instanceof LogFileStorageAspect);

3、支持文件元数据管理：除了文件内容本身，还可以存储一些与文件相关的元数据信息，例如文件名称、大小、上传时间等。设计时可以考虑使用数据库或索引服务来存储和管理这些元数据，以方便文件的检索和管理。
在这里插入图片描述

@Service
public class FileDetailService extends ServiceImpl<FileDetailMapper,FileDetail> implements FileRecorder {
    /**
     * 保存文件信息到数据库
     */
    @SneakyThrows
    @Override
    public boolean record(FileInfo info) {
        FileDetail detail = BeanUtil.copyProperties(info,FileDetail.class,"attr");
        //这是手动获 取附加属性字典 并转成 json 字符串，方便存储在数据库中
        if (info.getAttr() != null) {
            detail.setAttr(new ObjectMapper().writeValueAsString(info.getAttr()));
        }
       
        boolean b = save(detail);
        if (b) {
            info.setId(detail.getId());
        }
        return b;
    }
}

1.4 项目分析

优点：

  1. 扩展性强：可支持动态扩展市面绝大部分云服务存储提供商，切换成本小
  2. 使用简单：集成方便，只需要引入云存储依赖、spring-file-storage依赖、配置相关信息即可使用

缺点：
3. 文件上传、下载都是在后端实现，接口效率受服务器内存、带宽限制，对大文件上传/下载不友好
4. 不支持临时文件链接的获取，前端无法根据生成的已授权的文件地址直接put上传文件

测试数据：

文件上传MinIOOSS
30MB1.2秒131秒
206MB6秒230秒
2.34GB67秒-
文件下载MinIOOSS
30MB1秒35秒
206MB2秒330秒
2.34GB26秒-

1.5 项目集成

1. 引入pom依赖

<dependency>
    <groupId>com.nimbus</groupId>
    <artifactId>spring-file-storage</artifactId> <!--已封装好主要云存储服务商的依赖-->
    <version>0.7.0</version>
</dependency>
  1. yaml自定义存储服务提供商
spring:
  file-storage: #文件存储配置
    default-platform: aliyun-oss-1    # 默认使用的存储平台
    thumbnail-suffix: ".min.jpg"      # 缩略图后缀，例如【.min.jpg】【.png】
    local-plus: # 本地存储
      - platform: local-plus-1        # 存储平台标识
        enable-storage: true          # 启用存储
        enable-access: true           # 启用访问（线上请使用 Nginx 配置，效率更高）
        domain: "D:/Temp/"            # 访问域名，例如：“http://127.0.0.1:8030/”，注意后面要和 path-patterns 保持一致，“/”结尾，本地存储建议使用相对路径，方便后期更换域名
        base-path: local-plus/        # 基础路径
        path-patterns: /**            # 访问路径
        storage-path: D:/Temp/        # 存储路径 D:\Temp
    aliyun-oss: # 阿里云 OSS
      - platform: aliyun-oss-1        # 存储平台标识
        enable-storage: true          # 启用存储
        access-key: ${aliyun.oss.access_key}
        secret-key: ${aliyun.oss.access_secret}
        end-point: ${aliyun.oss.endpoint}
        bucket-name: ${aliyun.oss.bucket_name}
        domain: ${aliyun.oss.host}             # 访问域名，注意“/”结尾
        base-path: infra-common/               # 基础路径
    minio: # MinIO
      - platform: minio-1
        enable-storage: true
        access-key: ??
        secret-key: ??
        end-point: ??
        bucket-name: ??
        domain: ??
        base-path: hy/

3. 表设计

-- mysql
DROP TABLE IF EXISTS `file_detail`;
CREATE TABLE `file_detail`
(
    `id`                int(10) UNSIGNED                                        NOT NULL AUTO_INCREMENT COMMENT '文件id',
    `url`               varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '文件访问地址',
    `size`              bigint(20)                                              NULL DEFAULT NULL COMMENT '文件大小，单位字节',
    `filename`          varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '文件名称',
    `original_filename` varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '原始文件名',
    `base_path`         varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '基础存储路径',
    `path`              varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '存储路径',
    `ext`               varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT '文件扩展名',
    `content_type`      varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT 'MIME类型',
    `platform`          varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT '存储平台',
    `th_url`            varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '缩略图访问路径',
    `th_filename`       varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '缩略图名称',
    `th_size`           bigint(20)                                              NULL DEFAULT NULL COMMENT '缩略图大小，单位字节',
    `th_content_type`   varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT '缩略图MIME类型',
    `object_id`         varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT '文件所属对象id',
    `object_type`       varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT '文件所属对象类型，例如用户头像，评价图片',
    `attr`              text CHARACTER SET utf8 COLLATE utf8_general_ci  NULL DEFAULT NULL COMMENT '附加属性',
    `create_time`       datetime(0)                                             NULL DEFAULT NULL COMMENT '创建时间',
    PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB
  AUTO_INCREMENT = 1
  CHARACTER SET = utf8
  COLLATE = utf8_general_ci COMMENT = '文件记录表'
  ROW_FORMAT = Dynamic;


-- postgre 自定义
create table if not exists "file_detail" (
    id VARCHAR(255) not null,
    url VARCHAR(255) not null,
    "size" BIGINT null,
    filename VARCHAR(255) null,
    original_filename VARCHAR(255) null,
    base_path VARCHAR(255) null,
    "path" VARCHAR(255) null,
    ext VARCHAR(255) null,
    content_type VARCHAR(255) null,
    platform VARCHAR(255) null,
    th_url VARCHAR(255) null,
    th_filename VARCHAR(255) null,
    th_size bigint null,
    th_content_type VARCHAR(255) null,
    object_id VARCHAR(255) null,
    object_type VARCHAR(255) null,
    attr VARCHAR(255) null,
    create_time TIMESTAMP null,
    project_id UUID null,
    tenant_id UUID null,
    primary key ("id")
    );

-- Column comments
COMMENT ON TABLE file_detail IS '文件记录表';
COMMENT ON COLUMN public.file_detail.id IS '主键';
COMMENT ON COLUMN public.file_detail.url IS '文件访问地址';
COMMENT ON COLUMN public.file_detail."size" IS '文件大小，单位字节';
COMMENT ON COLUMN public.file_detail.filename IS '文件名称';
COMMENT ON COLUMN public.file_detail.original_filename IS '原始文件名';
COMMENT ON COLUMN public.file_detail.base_path IS '基础存储路径';
COMMENT ON COLUMN public.file_detail."path" IS '存储路径';
COMMENT ON COLUMN public.file_detail.ext IS '文件扩展名';
COMMENT ON COLUMN public.file_detail.content_type IS 'MIME类型';
COMMENT ON COLUMN public.file_detail.platform IS '存储平台';
COMMENT ON COLUMN public.file_detail.th_url IS '缩略图访问路径';
COMMENT ON COLUMN public.file_detail.th_filename IS '缩略图名称';
COMMENT ON COLUMN public.file_detail.th_size IS '缩略图大小，单位字节';
COMMENT ON COLUMN public.file_detail.th_content_type IS '缩略图MIME类型';
COMMENT ON COLUMN public.file_detail.object_id IS '文件所属对象id';
COMMENT ON COLUMN public.file_detail.object_type IS '文件所属对象类型，例如用户头像，评价图';
COMMENT ON COLUMN public.file_detail.attr IS '附加属性';
COMMENT ON COLUMN public.file_detail.create_time IS '创建时间';
COMMENT ON COLUMN public.file_detail.project_id IS '项目id';
COMMENT ON COLUMN public.file_detail.tenant_id IS '租户id';
``
Mr朱墨
关注
  • 13
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
spring实现文件上传和下载完整方案
秀才的专栏
10-13 1139
1. 简介 提供基于spring实现文件（笔记附件）的上传和下载的完整方案。方案将文件上传，并将文件名称作为字段与关联的笔记绑定在一起，更新笔记在数据库中的记录。显示笔记时，根据笔记所绑定的文件名生成下载路径，提交给服务端完成下载。 2. 文件上传 2. 1 前端 在html中插入一个表单用于提交文件 [html] view plain copy form
最简单的文件上传-spring-file-storage
ytyDaMoTou的博客
02-05 453
Spring File Storage工具几乎整合了市面上所有的OSS对象存储平台，包括本地、FTP、SFTP、WebDAV、阿里云OSS、华为云OBS、七牛云Kodo、腾讯云COS、百度云 BOS、又拍云USS、MinIO、京东云 OSS、网易数帆 NOS等其它兼容 S3 协议的平台，只要在springboot中通过极简的方式就可以实现文件存储。3 启动类增加@EnableFileStorage 注解。其他案例请参照官网配置。2 配置文件增加配置。
spring boot实现大文件上传【分片上传】插件（x-file-storage），同时支持本地、FTP、SFTP、阿里云 OSS、腾讯云 COS、MinIO、 Amazon S3等
Json的知识梦工厂
04-30 959
这篇文章 主要说一下 前端 分片后 传给后端 利用 插件（x-file-storage）实现 大文件上传 方案。如果大家没用过 x-file-storage 这个插件 建议先看一下 上面得这个博客 再来用这个大文件上传。插件（x-file-storage） 具体这个插件怎么使用 简单的文件上传 看下面的这篇博客 有详细说明。如果上面这段代码 在一个大文件上传的时候 多次初始化 就会导致 每次上传上来的分片数据 都会。下面我直接分享 大文件上传的代码 这个插件的配置 等等信息 参考上面博客地址。
Java文件上传组件X Spring File Storage
zc_huiyanruju的博客
09-08 285
X Spring File Storage组件可以简化上传代码量，可以配置多上传平台。
file-storage-service:用于存储基于Spring Boot构建的文件的服务
05-15
使用Spring Boot的文件存储服务 介绍 该服务是基于Spring Boot构建的。 它提供了一个API，用于存储文件并将文件信息持久存储在InMemory DB中。 独立运行 ./gradlew bootRun 测验 ./gradlew check 解决方案说明 设计：遵循微小的DDD方法， main应用程序结构分为两部分： 域：具有主体实体File和FileRepository接口。 基础设施：在所有情况下，依赖第三方的所有部分都在哪里，在当前情况下为Spring。 它还具有FileRepository实现。 CI：对master每次提交都将触发travis-ci管道，该管道将： 构建并测试应用程序 创建一个Docker映像并将其推送到Docker Hub 技术债务 仍有一些类需要进行单元测试 缺乏简单的集成测试 POST /files端点应返回201 产品债务 它应
Spring File Storage 实现通用的文件上传与下载
淡墨青衫、剑轻吟
01-26 4150
Spring File Storage 实现通用的文件上传与下载
X Spring File Storage 0.6.0 发布，新增支持 FTP、SFTP、WebDAV
友军的博客
08-17 2112
在 SpringBoot 中通过简单的方式将文件存储到本地、FTP、SFTP、WebDAV、阿里云OSS、华为云OBS、七牛云Kodo、腾讯云COS、百度云 BOS、又拍云USS、MinIO、AWS S3、金山云 KS3、美团云 MSS、京东云 OSS、天翼云 OOS、移动云 EOS、沃云 OSS、网易数帆 NOS、Ucloud US3、青云 QingStor、平安云 OBS、首云 OSS、IBM COS、其它兼容 S3 协议的平台查看后续即将支持 谷歌云存储、Samba、NFS。...
Spring File Storage的详细文档
zlfjavahome的专栏
03-04 1978
Spring File Storage文档
【SpringBoot 学习】54、Spring Boot 集成 File Storage 实现各个平台文件对象处理
Tellsea
04-23 864
【代码】【SpringBoot 学习】54、Spring Boot 集成 File Storage 实现各个平台文件对象处理。
spring-mongo-file-storage
03-10
从压缩包子文件的文件名称“spring-mongo-file-storage-master”来看，这是项目的主要源代码目录，可能包含了项目的配置、模型类、服务接口、实现类、控制器等文件，以及可能的测试代码。 以下是相关的知识点： 1....
Java开发案例-springboot-40-整合X Spring File Storage文件存储-源代码+文档.rar
最新发布
05-31
Java开发案例-springboot-40-整合X Spring File Storage文件存储-源代码+文档.rar Java开发案例-springboot-40-整合X Spring File Storage文件存储-源代码+文档.rar Java开发案例-springboot-40-整合X Spring File ...
storage:Spring Boot的存储服务，为Spring Boot项目提供易于使用的存储服务，包括本地存储和云存储
03-16
贮存 自述文件 | 引言 存储是基于Java语言开发的项目，它为Spring Boot项目提供了易于使用的存储服务，包括本地存储和云存储。 该项目正在维护中。 欢迎您提出问题并提出要求。 :grinning_face: 模块 ：提供抽象接口和本地存储实现。 ：基于的服务的实现。 ：基于的服务的实现。 下载 通过Maven抢： < dependency> < groupId>cn.dustlight.storage</ groupId> < artifactId>storage-core</ artifactId> < version>0.0.4</ version> </ dependency> 使用 LocalStorage的简单用例如下所示： package com.example.demo ; import cn.dustlight.storage.core.Permiss
filemanager：基于Angular-Spring Boot的文件管理器支持云存储的浏览器
02-02
用于服务后端的Spring Boot（ ） 引导样式（ ） 用于图标的字体Awesone（ ） CKEditor（ ） 用于构建，打包和运行应用程序的Maven（ ） 组态 根据您要使用的存储模式，配置应用程序需要进行3个简单的配置更改，...
azure-spring-boot：适用于Azure服务的Spring Boot Starters
01-28
Azure Storage是云存储解决方案，包括Blob、Queue、Table和File服务。在Spring Boot应用中，可以利用Starters方便地处理对象存储、队列通信和结构化数据。例如，通过Blob Starter，开发者可以轻松上传、下载和管理...
FileStorage
zxl2712028的博客
09-04 3272
//写入数据到xml文档中 string szName = "C:\\Users\\BZL\\Desktop\\1.xml"; FileStorage fs(szName, FileStorage::WRITE); // seq_node 是一个 seq 型的节点, 以它为父节点，存入10个数据 fs << "seq_node" << "["; for (in...
File Storage：文件存储
weixin_42465002的博客
09-16 2877
A file is the basic unit of storage that enables a computer to distinguish one set of information from another. Files are stored on a variety of media, such as floppy disks, hard disks, tapes, CDs, a...
文件上传组件-X Spring File Storag使用
BOOLTechnology的博客
01-30 1564
X Spring File Storage可以简化上传文件代码，可以配置多上传平台
FileStorage 的用法
01-23 7269
//store Mat dictionary; ....... FileStorage fs("dictionary.yml", FileStorage::WRITE); fs << "vocabulary" << dictionary; fs.release(); //read Mat dictionary; FileStorage fs("dictionary.yml"
实现一个文件存储（本地，OSS，FastDFS）的Spring Boot的starter
qq_45573718的博客
09-27 733
自定义starter 自己实现一个文件存储（本地存储，阿里云OSS，FastDFS）的Spring Boot的starter 一、了解SpringBoot starter机制 SpringBoot中的starter是一种非常重要的机制，能够抛弃以前繁杂的配置，将其统一集成进starter，应用者只需要在maven中引入starter依赖，SpringBoot就能自动扫描到要加载的信息并启动相应的默认配置。starter让我们摆脱了各种依赖库的处理，需要配置各种信息的困扰。SpringBoot会自动通过cla
java 将MultipartFile文件存储到本地
09-09
你可以使用Java中的MultipartFile类将上传的文件存储到本地。下面是一个示例代码，演示了如何将MultipartFile文件保存到本地目录中： ```java import org.springframework.web.multipart.MultipartFile; import java.io.IOException; import java.nio.file.Files; import java.nio.file.Path; import java.nio.file.StandardCopyOption; public class FileStorageService { private String uploadDir; // 本地存储目录 public void storeFile(MultipartFile file) { try { // 获取文件名 String fileName = file.getOriginalFilename(); // 创建目标文件路径 Path targetLocation = Path.of(uploadDir, fileName); // 将文件复制到目标路径 Files.copy(file.getInputStream(), targetLocation, StandardCopyOption.REPLACE_EXISTING); } catch (IOException e) { // 处理异常 } } } ``` 在这个示例中，首先你需要在你的项目中引入Spring Web模块，以便使用MultipartFile类。 然后，你需要创建一个FileStorageService类，其中包含一个storeFile方法。此方法接受一个MultipartFile参数，表示上传的文件。它将获取文件名，并使用原始文件名创建目标文件路径。 最后，通过调用Files.copy方法，将文件从MultipartFile对象的输入流复制到目标路径。通过指定StandardCopyOption.REPLACE_EXISTING选项，如果目标路径已存在同名文件，则会被替换。 记得设置好存储目录的路径（uploadDir），确保该目录存在并有写入权限。 希望这个示例能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr朱墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值