minio springboot 实现大文件的分片上传、断点续传、秒传的功能

最新推荐文章于 2024-07-03 19:17:53 发布
置顶 最新推荐文章于 2024-07-03 19:17:53 发布
阅读量1.2w 收藏 133
点赞数 23
分类专栏： minio 文章标签： spring boot vue.js 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44359036/article/details/126514643
版权

前言

本文将分享下本人做大文件上传的一些思路，以及相关代码的实现。至于minio的搭建，还是比较简单的。本文就不再赘述。本文搭建的🌰例子也仅仅是把主要流程走通，相关的demo代码可能会有bug。
有不同思路的大佬也可以在评区分享下，开拓下思路。
其实主要需要实现的就是分片上传。断点续传，秒传仅仅是在分片上传的基础上增加的逻辑扩张。

demo源码地址

https://gitee.com/Gary2016/minio-upload

演示

在这里插入图片描述

大致步骤

流程图

在这里插入图片描述

  1. 前端获取到文件流，计算出文件的唯一标识identifier（md5摘要）。
  2. 将获取到的identifier传递给后端，查询该文件的上传任务记录。如果没有则初始化一个上传任务
  3. 校验上传任务记录是否完成上传（成功执行合并分片的操作后视为完成上传）
    3.1 任务完成，直接返回文件地址
    3.2 任务未完成，获取已上传的分片。前端按照分片任务中记录的分片大小将文件分片。然后遍历所有分片进行单片上传，如果分块存在于已上传的分片列表中，则跳过该分块的上传。所有分片完成上传后，请求后端合并分片的接口进行合并。合并完成后，返回文件地址

单片上传

单片上传是通过预签名上传的方式：获取到minio经过签名的上传地址后由前端直接向minio服务器发起真正的上传请求。避免上传时占用应用服务器的带宽，影响系统稳定。

代码实现

主要技术栈

vue 3.0
element plus
promise-queue-plus
springboot 2.7.3
mybatis-plus 3.5.1
aws-java-sdk-s3 1.12.263
mysql8
minio 最新版

后端实现

数据库设计

实现断点续传，秒传的前提就是服务端需要记录文件的上传进度。因此，需要一张表来记录文件的上传记录。至于已上传的分块记录由minio提供的接口来获取。
以下是表设计

CREATE TABLE `sys_upload_task` (
  `id` bigint NOT NULL,
  `upload_id` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '分片上传的uploadId',
  `file_identifier` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件唯一标识（md5）',
  `file_name` varchar(500) COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件名',
  `bucket_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '所属桶名',
  `object_key` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '文件的key',
  `total_size` bigint NOT NULL COMMENT '文件大小（byte）',
  `chunk_size` bigint NOT NULL COMMENT '每个分片大小（byte）',
  `chunk_num` int NOT NULL COMMENT '分片数量',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uq_file_identifier` (`file_identifier`) USING BTREE,
  UNIQUE KEY `uq_upload_id` (`upload_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='分片上传-分片任务记录';
接口设计

以下接口的响应参数均被包装在Result对象的data字段中

Result

名称 类型 说明
code int 自定义状态码（成功：200000，失败：500000）
data object 接口真实数据
msg string 信息

1.根据文件唯一标识获取上传任务

主要流程就是查询数据库记录，存在上传任务再通过amazon s3的sdk方法：amazonS3.doesObjectExist，判断是否存在文件对象，存在则说明已经合并完成。

接口地址：/v1/minio/tasks/{identifier}
请求方式：GET
响应参数：

名称 类型 说明
finished boolean 是否完成上传
path string 文件地址
taskRecord TaskRecordDTO 任务记录信息

TaskRecordDTO

名称 类型 说明
id long 任务id
uploadId string minio的uploadId
fileIdentifier string 文件唯一标识（MD5）
fileName string 文件名称
bucketName string 所属桶名
objectKey string 文件的key
totalSize long 文件大小（byte）
chunkSize long 每个分片大小（byte）
chunkNum int 分片数量
exitPartList PartSummary[] 已上传完的分片 （finished为true时，该字段为null）

PartSummary（该类由s3的sdk提供）

名称 类型 说明
partNumber int 分片编号
lastModified Date 最后修改时间
eTag string 分片的eTag（MD5）
size long 分片大小

主要代码

/**
 * 获取上传进度
 * @param identifier 文件md5
 * @return
 */
@GetMapping("/{identifier}")
public Result<TaskInfoDTO> taskInfo (@PathVariable("identifier") String identifier) {
   
    return Result.ok(sysUploadTaskService.getTaskInfo(identifier));
}

@Override
public TaskInfoDTO getTaskInfo(String identifier) {
   
    SysUploadTask task = getByIdentifier(identifier);
    if (task == null) {
   
        return null;
    }
    TaskInfoDTO result = new TaskInfoDTO().setFinished(true).setTaskRecord(TaskRecordDTO.convertFromEntity(task)).setPath(getPath(task.getBucketName(), task.getObjectKey()));

    boolean doesObjectExist = amazonS3.doesObjectExist(task.getBucketName(), task.getObjectKey());
    if (!doesObjectExist) {
   
        // 未上传完，返回已上传的分片
        ListPartsRequest listPartsRequest = new ListPartsRequest(task.getBucketName(), task.getObjectKey(), task.getUploadId());
        PartListing partListing = amazonS3.listParts(listPartsRequest);
        result.setFinished(false).getTaskRecord().setExitPartList(partListing.getParts());
    }
    return result;
}

2.初始化一个上传任务

当接口1返回的数据为null时，调用此接口初始化一个上传任务。

接口地址：/v1/minio/tasks
请求方式：POST
请求参数（body）：

名称 类型 说明
identifier string 文件唯一标识（MD5）
totalSize long 文件大小（byte）
chunkSize long 分片大小（byte）
fileName string 文件名称

响应参数：与接口1的响应参数一致，此处就不再重复

主要代码

/**
 * 创建一个上传任务
 * @return
 */
@PostMapping
public Result<TaskInfoDTO> initTask (@Valid @RequestBody
最低0.47元/天 解锁文章
暴走的咖喱
关注
  • 23
    点赞
  • 踩
  • 133
    收藏
    觉得还不错? 一键收藏
  • 23
    评论
专栏目录
java，使用minio实现分片上传、秒传、断点续传，附docker安装文档
01-25
java，minio实现分片上传、秒传、断点续传，附docker安装文档
前端开源库-promise-queue-plus
08-29
前端开源库-promise-queue-plusPromise Queue Plus，基于Promise的队列。支持超时、重试等。
SpringBoot + Minio 实现大文件分片上传
最新发布
kangbin825的专栏
07-03 1029
提示：请不要多个博客来回跳着看，此文章之详细绝无仅有，融合多家之长，如果遇见报错，请仔细捋一遍文章，不要忽略！我在写的时候因为许多文章不全面，来回跳遇见许多坑，希望大家可以避免，本文章中悉数做了标注提醒！！！官网地址：​​文档地址：​​该文档源码地址（免费资源）：​​Minio是一款开源的对象存储服务器，它可以运行在多种操作系统上，包括Linux、Windows和MacOS等。它提供了一种简单、可扩展、高可用的对象存储解决方案，支持多种数据格式，包括对象、块和文件等。
PDFjs教程:在线预览/下载/水印/解析SpringBoot+Vue
04-09
 适用人群具有java一定基础的同学课程概述学完本课程，您将掌握：完成文件系统的独立搭建和Minio8的API操作分布式文件系统Minio8企业中使用的文件管理系统采用SpringBoot2+Vue进行前后端开发和文件系统的整合实操实战项目，非理论讲解课程目标：能搭建一套独立的企业文件系统而不耦合任何系统，便成为文件服务器课程简介：PDF .js文件一个通用的，基于Web标准的平台，用于解析和呈现 PDF。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL 
前端vue2 大文件分片上传中promise-queue-plus插件使用
weixin_44739106的博客
03-30 1029
使用promise-queue-plus插件实现控制大文件上传的分片上传的并发，并且当有多个promise-queue-plus 队列实例时候，可以控制某个promise-queue-plus 队列实例的暂停开始和取消
minio分片上传
热门推荐
qq_42852943的博客
11-07 1万+
​ Minio是一个对象存储服务OSS(Object Storage Service)。是⼀种海量、安全、低成本、⾼可靠的云存储服务。本身的应用的并不复杂。但是Minio的APi在对于大于5m的文件，自动采用了分片上传，它的分片上传我们无法得知上传的分片后的序号，也就是说，没上传一个分片，我们都需要自己去记录已上传分片的序号。这将导致一个文件一个文件分片5个，那么同样还需要调用5次后端接口去记录这5个分片的信息。这个无疑大大浪费了性能，且无法做到并发上传。
SpringBoot + minio实现文件切片极速上传技术（api调用和minio部署，不涉及底层逻辑））
IT小辉同学
06-02 9046
有朋友让我放下！我想，拿起来就已经很难，那放下大概也不会容易！！！
SpringBoot 中大文件（分片上传）断点续传与极速秒传功能的实现
08-18
在本文中，我们将探讨如何在 SpringBoot 框架中实现大文件（分片上传）断点续传与极速秒传功能。该功能能够帮助用户快速上传大文件，提高上传效率和用户体验。 1. 创建 SpringBoot 项目 首先，我们需要创建一个 ...
IT+minio+大文件的分片上传、断点续传、秒传的功能
09-01
minio springboot 实现大文件的分片上传、断点续传、秒传的功能
springboot大文件分片上传
11-12
springboot 大文件上传，支持分片并发上传、断点续传、秒传，已经测试过1.2G的文件，最大支持理论无限制 博文链接:https://blog.csdn.net/haohao123nana/article/details/54692669
MinIo最佳性能分片上传、断点续传方案
03-14
通过这个Demo，开发者可以快速理解和实现MinIO的大文件分片上传和断点续传方案，提升应用的上传性能和用户满意度。在实际项目中，可以根据具体需求调整分片策略和断点续传逻辑，以达到最优的上传体验。
前端开源库-promise-queue
08-30
前端开源库-promise-queue承诺队列，基于承诺的队列
Promise队列的实现
浮笙若有梦的博客
12-01 2829
定义: 首先所谓promise队列就是让一组promise对象依次按照顺序执行,下面提供两种实现方式 1.通过forEach或者map函数实现 function queue(list) { // 生成一个resolved状态的promise对象 let p = Promise.resolve() list.forEach(item => { // promise队列就是保证上一个执行完再执行下一个 所以需要让上一个promise影响到下一个 // 将一个新的promise对
Promise教程及用法
鹏多多的博客
08-16 797
目录1，介绍2，特点3，缺点4，基本用法5，then6，catch7，finally8，all()9，race()10，allSettled()11，any()12，现有对象转为Promise对象13，实战用法13.1，小程序request13.2，图片加载13.3，封装Toast 1，介绍 Promise是异步编程的一种解决方案，比回调函数和事件更合理且更强大。可以理解为一个容器，里面保存着某个未来才会结束的事件的结果。 2，特点 Promise对象有三种状态：pending（进行中）、fulfill
Java大文件分片上传(minio版)，超详细
恋上、小幸福的博客
09-16 9223
import com/*** 自定义minio} }/*** 自定义minio} }/*** 自定义minio} }Multimap;import io/*** 自定义minio} }import io/*** 自定义minio} }import io/*** 自定义minio} }
Minio分片上传
江黎
01-29 4846
Minio分片上传
java文件上传Minio——文件、文件分片上传
qq_45778079的博客
07-15 6576
关于文件上传Minio的一些基本介绍（如文件上传、分片上传、md5值秒传、断点续传等）； 本文主要介绍的是单文件上传minio、多文件分片上传minio的demo！其他上传方式请留言主页文章哦！
Springboot2.7 + Minio8 实现大文件分片上传
Aecu_ah的博客
06-28 3520
分片上传: 将一个文件按照指定大小分割成多份数据块(Part)分开上传, 上传之后再由服务端整合为原本的文件网络环境差: 当出现上传失败的时候，只需要对失败的Part进行重新上传断点续传: 中途暂停之后，可以从上次上传完成的Part的位置继续上传加速上传: 要上传到OSS的本地文件很大的时候，可以并行上传多个Part以加快上传速度流式上传: 可以在需要上传的文件大小还不确定的情况下开始上传，这种场景在视频监控等行业应用中比较常见文件较大: 一般文件比较大时，默认情况下一般都会采用分片上传。
Spring Boot整合Minio实现上传凭证、分片上传、秒传和断点续传
weixin_54542328的博客
10-19 2956
Spring Boot整合Minio后，前端的文件上传有两种方式：文件上传到后端，由后端保存到Minio这种方式好处是完全由后端集中管理，可以很好的做到、身份验证、权限控制、文件与处理等，并且可以做一些额外的业务逻辑，比如生成缩略图、提取元数据等。缺点也很明显：延迟时间高了，本来花费上传一次文件的时间，现在多了后端保存到Minio的时间后端资源占用，后端本来可以只处理业务请求，现在还要负责文件流，增加了性能压力单点故障，Minio即便做了集群，但是如果后端服务器故障，也会导致Minio不可用。
springboot实现minio分片上传和断点续传
05-31
在Spring Boot中实现MinIO文件服务器的分片上传和断点续传，可以使用MinIO Java SDK提供的API和Spring Boot提供的Multipart File上传功能。具体实现步骤如下： 1. 引入MinIO Java SDK和Spring Boot的依赖 ```xml <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.0.4</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> ``` 2. 配置MinIO客户端 在Spring Boot的配置文件中，配置MinIO客户端的连接信息。 ```yaml minio: endpoint: minio.example.com access-key: ACCESS_KEY secret-key: SECRET_KEY secure: false ``` 3. 初始化Multipart上传 在上传大文件之前，使用 `InitiateMultipartUpload` API 方法初始化一个Multipart上传会话，并获取一个上传ID。上传ID用于标识一个Multipart上传会话。 ```java import io.minio.MinioClient; import io.minio.errors.MinioException; import io.minio.messages.Part; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import org.springframework.web.multipart.MultipartFile; import java.io.IOException; import java.util.ArrayList; import java.util.List; @Service public class MinioService { @Autowired private MinioClient minioClient; @Value("${minio.bucket-name}") private String bucketName; public String initiateMultipartUpload(String objectName) throws MinioException { String uploadId = minioClient.initiateMultipartUpload(bucketName, objectName).uploadId(); return uploadId; } } ``` 4. 上传文件块 将大文件分成多个小块，每个小块的大小可以根据需求自定义。使用 `UploadPart` API 方法将每个小块独立上传。上传时需要指定上传的文件名、块编号、块大小以及上传ID等信息。 ```java public class MinioService { // ... public List<Part> uploadParts(String objectName, String uploadId, MultipartFile file, int partSize) throws IOException, MinioException { List<Part> parts = new ArrayList<>(); int partNumber = 1; byte[] buffer = new byte[partSize]; while (true) { int bytesRead = file.getInputStream().read(buffer); if (bytesRead < 0) { break; } byte[] partData = new byte[bytesRead]; System.arraycopy(buffer, 0, partData, 0, bytesRead); Part part = minioClient.uploadPart( bucketName, objectName, partNumber, uploadId, partData, bytesRead); parts.add(part); partNumber++; } return parts; } } ``` 5. 完成Multipart上传 上传所有文件块后，使用 `CompleteMultipartUpload` API 方法将它们合并成一个完整的文件，最终得到上传的文件。 ```java public class MinioService { // ... public void completeMultipartUpload(String objectName, String uploadId, List<Part> parts) throws MinioException { minioClient.completeMultipartUpload(bucketName, objectName, uploadId, parts); } } ``` 6. 断点续传 如果上传中断，可以使用 `ListParts` API 方法获取已上传的文件块信息，然后从中断处继续上传。 ```java public class MinioService { // ... public List<Part> listParts(String objectName, String uploadId) throws MinioException { return minioClient.listParts(bucketName, objectName, uploadId).getParts(); } } ``` 使用Spring Boot的Multipart File上传功能上传文件时，需要在Controller中添加 `@RequestParam("file") MultipartFile file` 注解，自动将文件转换为MultipartFile类型。 ```java @RestController @RequestMapping("/file") public class FileController { @Autowired private MinioService minioService; @PostMapping("/upload") public void uploadFile(@RequestParam("file") MultipartFile file) throws IOException, MinioException { // 获取文件名和文件大小 String fileName = file.getOriginalFilename(); long fileSize = file.getSize(); // 定义块大小（5MB） int partSize = 5 * 1024 * 1024; // 初始化Multipart上传会话 String uploadId = minioService.initiateMultipartUpload(fileName); // 上传文件块 List<Part> parts = minioService.uploadParts(fileName, uploadId, file, partSize); // 完成Multipart上传 minioService.completeMultipartUpload(fileName, uploadId, parts); } @PostMapping("/resume") public void resumeUpload(@RequestParam("file") MultipartFile file, String objectName, String uploadId) throws IOException, MinioException { // 获取已上传的文件块信息 List<Part> parts = minioService.listParts(objectName, uploadId); // 上传文件块 parts = minioService.uploadParts(objectName, uploadId, file, partSize); // 完成Multipart上传 minioService.completeMultipartUpload(objectName, uploadId, parts); } } ``` 以上是使用Spring Boot实现MinIO文件服务器的分片上传和断点续传的基本步骤，具体实现还需要根据实际需求进行调整。
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值