springboot整合MinIO实现视频的分片上传/断点续传

最新推荐文章于 2024-06-02 18:53:06 发布
最新推荐文章于 2024-06-02 18:53:06 发布
阅读量8.6k 收藏 47
点赞数 3
分类专栏： web 文章标签： spring boot java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44153131/article/details/129249169
版权

目录

1、前言

之前做了一个慕课网上的仿短视频开发，里面有很多比较粗糙的实现，比如视频上传部分是直接由前端上传云服务，没考虑到客户的网络环境质量等问题，如果一个视频快上传完了，但是网断了没有上传完成需要客户重新上传，这对于用户体验是极差的。

那么我们对于视频文件的上传可以采取断点续传，上传过程中，如果出现网络异常或程序崩溃导致文件上传失败时，将从断点记录处继续上传未上传完成的部分，断点续传依赖于MD5和分片上传，对于本demo分片上传的流程如图
在这里插入图片描述
通过文件唯一标识MD5，在数据库中查询此前是否创建过该SysUploadTask，如果存在，直接返回TaskInfo；如果不存在，通过amazonS3获取到UploadId并新建一个SysUploadTask返回。前端将文件分好片后，通过服务器得到每一片的一个预地址，然后由前端直接向minio服务器发起真正的上传请求，避免上传时占用应用服务器的带宽，影响系统稳定。最后再向后端服务器发起合并请求。

2、数据库结构

在这里插入图片描述

3、后端实现

3.1、根据MD5获取是否存在相同文件

Controller层

    /**
     * 查询是否上传过，若存在，返回TaskInfoDTO
     * @param identifier 文件md5
     * @return
     */
    @GetMapping("/{identifier}")
    public GraceJSONResult taskInfo (@PathVariable("identifier") String identifier) {
        return GraceJSONResult.ok(sysUploadTaskService.getTaskInfo(identifier));
    }

Service层

    /**
     * 查询是否上传过，若存在，返回TaskInfoDTO
     * @param identifier
     * @return
     */
    public TaskInfoDTO getTaskInfo(String identifier) {
        SysUploadTask task = getByIdentifier(identifier);
        if (task == null) {
            return null;
        }
        TaskInfoDTO result = new TaskInfoDTO().setFinished(true).setTaskRecord(TaskRecordDTO.convertFromEntity(task)).setPath(getPath(task.getBucketName(), task.getObjectKey()));

        boolean doesObjectExist = amazonS3.doesObjectExist(task.getBucketName(), task.getObjectKey());
        if (!doesObjectExist) {
            // 未上传完，返回已上传的分片
            ListPartsRequest listPartsRequest = new ListPartsRequest(task.getBucketName(), task.getObjectKey(), task.getUploadId());
            PartListing partListing = amazonS3.listParts(listPartsRequest);
            result.setFinished(false).getTaskRecord().setExitPartList(partListing.getParts());
        }
        return result;
    }

3.2、初始化一个上传任务

Controller层

    /**
     * 创建一个上传任务
     * @return
     */
    @PostMapping
    public GraceJSONResult initTask (@Valid @RequestBody InitTaskParam param) {
        return GraceJSONResult.ok(sysUploadTaskService.initTask(param));
    }

Service层

	/**
     * 初始化一个任务
     */
    public TaskInfoDTO initTask(InitTaskParam param) {

        Date currentDate = new Date();
        String bucketName = minioProperties.getBucketName();
        String fileName = param.getFileName();
        String suffix = fileName.substring(fileName.lastIndexOf(".")+1, fileName.length());
        String key = StrUtil.format("{}/{}.{}", DateUtil.format(currentDate, "YYYY-MM-dd"), IdUtil.randomUUID(), suffix);
        String contentType = MediaTypeFactory.getMediaType(key).orElse(MediaType.APPLICATION_OCTET_STREAM).toString();
        ObjectMetadata objectMetadata = new ObjectMetadata();
        objectMetadata.setContentType(contentType);
        InitiateMultipartUploadResult initiateMultipartUploadResult = amazonS3
                .initiateMultipartUpload(new InitiateMultipartUploadRequest(bucketName, key).withObjectMetadata(objectMetadata));
        String uploadId = initiateMultipartUploadResult.getUploadId();

        SysUploadTask task = new SysUploadTask();
        int chunkNum = (int) Math.ceil(param.getTotalSize() * 1.0 / param.getChunkSize());
        task.setBucketName(minioProperties.getBucketName())
                .setChunkNum(chunkNum)
                .setChunkSize(param.getChunkSize())
                .setTotalSize(param.getTotalSize())
                .setFileIdentifier(param.getIdentifier())
                .setFileName(fileName)
                .setObjectKey(key)
                .setUploadId(uploadId);
        sysUploadTaskMapper.insert(task);
        return new TaskInfoDTO().setFinished(false).setTaskRecord(TaskRecordDTO.convertFromEntity(task)).setPath(getPath(bucketName, key));
    }

3.3、获取每个分片的预签名上传地址

Controller层

    /**
     * 获取每个分片的预签名上传地址
     * @param identifier
     * @param partNumber
     * @return
     */
    @GetMapping("/{identifier}/{partNumber}")
    public GraceJSONResult preSignUploadUrl (@PathVariable("identifier") String identifier, @PathVariable("partNumber") Integer partNumber) {
        SysUploadTask task = sysUploadTaskService.getByIdentifier(identifier);
        if (task == null) {
            return GraceJSONResult.error("分片任务不存在");
        }
        Map<String, String> params = new HashMap<>();
        params.put("partNumber", partNumber.toString());
        params.put("uploadId", task.getUploadId());
        return GraceJSONResult.ok(sysUploadTaskService.genPreSignUploadUrl(task.getBucketName(), task.getObjectKey(), params));
    }

Service层

    /**
     * 生成预签名上传url
     * @param bucket 桶名
     * @param objectKey 对象的key
     * @param params 额外的参数
     * @return
     */
    public String genPreSignUploadUrl(String bucket, String objectKey, Map<String, String> params) {
        Date currentDate = new Date();
        Date expireDate = DateUtil.offsetMillisecond(currentDate, PRE_SIGN_URL_EXPIRE.intValue());
        GeneratePresignedUrlRequest request = new GeneratePresignedUrlRequest(bucket, objectKey)
                .withExpiration(expireDate).withMethod(HttpMethod.PUT);
        if (params != null) {
            params.forEach((key, val) -> request.addRequestParameter(key, val));
        }
        URL preSignedUrl = amazonS3.generatePresignedUrl(request);
        return preSignedUrl.toString();
    }

3.4、合并分片

Controller层

    /**
     * 合并分片
     * @param identifier
     * @return
     */
    @PostMapping("/merge/{identifier}")
    public GraceJSONResult merge (@PathVariable("identifier") String identifier) {
        sysUploadTaskService.merge(identifier);
        return GraceJSONResult.ok();
    }

Service层

    /**
     * 合并分片
     * @param identifier
     */
    public void merge(String identifier) {
        SysUploadTask task = getByIdentifier(identifier);
        if (task == null) {
            throw new RuntimeException("分片任务不存");
        }

        ListPartsRequest listPartsRequest = new ListPartsRequest(task.getBucketName(), task.getObjectKey(), task.getUploadId());
        PartListing partListing = amazonS3.listParts(listPartsRequest);
        List<PartSummary> parts = partListing.getParts();
        if (!task.getChunkNum().equals(parts.size())) {
            // 已上传分块数量与记录中的数量不对应，不能合并分块
            throw new RuntimeException("分片缺失，请重新上传");
        }
        CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest()
                .withUploadId(task.getUploadId())
                .withKey(task.getObjectKey())
                .withBucketName(task.getBucketName())
                .withPartETags(parts.stream().map(partSummary -> new PartETag(partSummary.getPartNumber(), partSummary.getETag())).collect(Collectors.toList()));
        CompleteMultipartUploadResult result = amazonS3.completeMultipartUpload(completeMultipartUploadRequest);
    }

4、分片文件清理问题

视频上传一半不上传了，怎么清理碎片分片。

可以考虑在sys_upload_task表中新加一个status字段，表示是否合并分片，默认为false，merge请求结束后变更为true，通过一个定时任务定期清理为status为false的记录。另外MinIO自身对于临时上传的分片，会实施定时清理。

5、Demo地址

springboot整合MinIO实现视频的分片上传/断点续传

Robinsyn_L
关注
  • 3
    点赞
  • 踩
  • 47
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
SpringBoot整合minio实现断点续传、分片上传（附源码）
无所谓^_^博客
05-01 7058
项目下载：https://gitee.com/wusupweilgy/springboot-vue.git
Minio对象存储及Springboot整合Minio分片上传文章-代码
02-23
在本文中，我们将深入探讨如何将Minio与Spring Boot应用程序整合，并实现分片上传功能。 首先，我们需要在项目中引入Minio的Java SDK依赖。在Maven的pom.xml文件中添加以下依赖： ```xml <groupId>io.minio</...
【MinIO】文件断点续传和分块合并
Decade_Faiz的博客
02-28 4230
ApiOperation(value = "文件上传前检查文件") @PostMapping("/upload/checkfile") public RestResponse < Boolean > checkfile(@RequestParam("fileMd5") String fileMd5) throws Exception {
java调用ffmpeg，剪切minio的视频并上传到minio
tadasii的专栏
09-22 510
ffmpeg,minio
Java大文件上传、分片上传、多文件上传、断点续传、上传文件minio、分片上传minio等解决方案
最新发布
程序人生
06-02 1447
文件上传花样百出，根据不同场景使用不同方案进行实现尤为必要。通常开发过程中，文件较小，直接将文件转化为字节流上传到服务器，但是文件较大时，用普通的方法上传，显然效果不是很好，当文件上传一半中断再次上传时，发现需要重新开始，这种体验不是很爽，下面介绍几种好一点儿的上传方式。这里讲讲如何在Spring boot 编写上传代码，如有问题可以在下留言，我并在文章末尾附上Java上传源码供大家下载。
java实现MinIO文件上传，并将视频文件截图，将视频封面及视频通过MinIo上传到服务器中
weixin_43748936的博客
04-01 7084
java实现MinIO文件上传，并将视频文件截图，将视频封面及视频通过MinIo上传到服务器中配置完毕，接下来开始代码编写。说明 总过程分为两步。 1.配置MinIO的环境。 2.代码编写。 下面开始配置MinIO的环境。 （1）导入依赖 <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId>
SpringBoot 中大文件（分片上传）断点续传与极速秒传功能的实现
08-18
主要介绍了SpringBoot 中大文件（分片上传）断点续传与极速秒传功能的实现,需要的朋友可以参考下
SpringBoot2+Minio8+Vue前后分离Minio8教程
04-08
适用人群具有java一定基础的同学课程概述学完本课程，您将掌握：完成文件系统的独立搭建和Minio8的API操作分布式文件系统Minio8企业中使用的文件管理系统采用SpringBoot2+Vue进行前后端开发和文件系统的整合实操实战项目，非理论讲解学习计划：可以一次性学完，也可以用到的时候再学，现查现用课程目标：能搭建一套独立的企业文件系统而不耦合任何系统，便成为文件服务器课程简介：MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL 
SpringBoot 整合 MinIO 实现视频的分片上传/断点续传（亲测可行）
方志朋的博客
06-28 363
1、前言之前做了一个慕课网上的仿短视频开发，里面有很多比较粗糙的实现，比如视频上传部分是直接由前端上传云服务，没考虑到客户的网络环境质量等问题，如果一个视频快上传完了，但是网断了没有上传完成需要客户重新上传，这对于用户体验是极差的。那么我们对于视频文件的上传可以采取断点续传，上传过程中，如果出现网络异常或程序崩溃导致文件上传失败时，将从断点记录处继续上传未上传完成的部分，断点续传依赖于MD5和分片...
minio分片上传
热门推荐
qq_42852943的博客
11-07 1万+
​ Minio是一个对象存储服务OSS(Object Storage Service)。是⼀种海量、安全、低成本、⾼可靠的云存储服务。本身的应用的并不复杂。但是Minio的APi在对于大于5m的文件，自动采用了分片上传，它的分片上传我们无法得知上传的分片后的序号，也就是说，没上传一个分片，我们都需要自己去记录已上传分片的序号。这将导致一个文件一个文件分片5个，那么同样还需要调用5次后端接口去记录这5个分片的信息。这个无疑大大浪费了性能，且无法做到并发上传。
springboot集成minio实现了分片上传功能源码+项目说明.zip
12-20
springboot集成minio实现了分片上传功能源码+项目说明.zip vue版本的：前端 后端 快速开始 后端 修改配置文件application.yml: minio: endpoint: accessKey: secretKey: bucketName: downloadUri: #配置...
spring boot实现大文件断点续传
10-18
使用spring boot整合google的断点续传框架事项大文件断点续传功能
Java分布式文件对象存储Minio框架并发上传、下载、合并、删除等操作示例Demo完整版
08-01
Java分布式文件对象存储Minio框架并发上传、下载、合并、删除等操作示例Demo完整版，可用于生产环境开发。
MinIo最佳性能分片上传、断点续传方案
03-14
通过这个Demo，开发者可以快速理解和实现MinIO的大文件分片上传和断点续传方案，提升应用的上传性能和用户满意度。在实际项目中，可以根据具体需求调整分片策略和断点续传逻辑，以达到最优的上传体验。
基于minio webuploader实现的分片上传 断点续传
04-15
本项目将这两个技术结合，实现了基于MinIO的WebUploader分片上传与断点续传功能。 1. MinIO对象存储服务： MinIO是一款高性能、分布式、开源的对象存储系统。它支持S3 API，使得开发者可以轻松地部署和管理存储...
SpringBoot+Minio实现文件断点续传
程序员阿药的博客
03-14 856
断点续传的实现方式。
springBoot集成minio,实现分片、断点续传
Alan_ran的博客
03-31 2426
springBoot集成minio实现大文件视频分片、断点续传
spring boot - minio 分片上传
面朝大海，春暖花开
06-13 481
【代码】spring boot - minio 分片上传。
Spring Boot整合Minio实现上传凭证、分片上传、秒传和断点续传
weixin_54542328的博客
10-19 2932
Spring Boot整合Minio后，前端的文件上传有两种方式：文件上传到后端，由后端保存到Minio这种方式好处是完全由后端集中管理，可以很好的做到、身份验证、权限控制、文件与处理等，并且可以做一些额外的业务逻辑，比如生成缩略图、提取元数据等。缺点也很明显：延迟时间高了，本来花费上传一次文件的时间，现在多了后端保存到Minio的时间后端资源占用，后端本来可以只处理业务请求，现在还要负责文件流，增加了性能压力单点故障，Minio即便做了集群，但是如果后端服务器故障，也会导致Minio不可用。
springboot实现minio分片上传和断点续传
05-31
在Spring Boot中实现MinIO文件服务器的分片上传和断点续传，可以使用MinIO Java SDK提供的API和Spring Boot提供的Multipart File上传功能。具体实现步骤如下： 1. 引入MinIO Java SDK和Spring Boot的依赖 ```xml <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.0.4</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> ``` 2. 配置MinIO客户端 在Spring Boot的配置文件中，配置MinIO客户端的连接信息。 ```yaml minio: endpoint: minio.example.com access-key: ACCESS_KEY secret-key: SECRET_KEY secure: false ``` 3. 初始化Multipart上传 在上传大文件之前，使用 `InitiateMultipartUpload` API 方法初始化一个Multipart上传会话，并获取一个上传ID。上传ID用于标识一个Multipart上传会话。 ```java import io.minio.MinioClient; import io.minio.errors.MinioException; import io.minio.messages.Part; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import org.springframework.web.multipart.MultipartFile; import java.io.IOException; import java.util.ArrayList; import java.util.List; @Service public class MinioService { @Autowired private MinioClient minioClient; @Value("${minio.bucket-name}") private String bucketName; public String initiateMultipartUpload(String objectName) throws MinioException { String uploadId = minioClient.initiateMultipartUpload(bucketName, objectName).uploadId(); return uploadId; } } ``` 4. 上传文件块 将大文件分成多个小块，每个小块的大小可以根据需求自定义。使用 `UploadPart` API 方法将每个小块独立上传。上传时需要指定上传的文件名、块编号、块大小以及上传ID等信息。 ```java public class MinioService { // ... public List<Part> uploadParts(String objectName, String uploadId, MultipartFile file, int partSize) throws IOException, MinioException { List<Part> parts = new ArrayList<>(); int partNumber = 1; byte[] buffer = new byte[partSize]; while (true) { int bytesRead = file.getInputStream().read(buffer); if (bytesRead < 0) { break; } byte[] partData = new byte[bytesRead]; System.arraycopy(buffer, 0, partData, 0, bytesRead); Part part = minioClient.uploadPart( bucketName, objectName, partNumber, uploadId, partData, bytesRead); parts.add(part); partNumber++; } return parts; } } ``` 5. 完成Multipart上传 上传所有文件块后，使用 `CompleteMultipartUpload` API 方法将它们合并成一个完整的文件，最终得到上传的文件。 ```java public class MinioService { // ... public void completeMultipartUpload(String objectName, String uploadId, List<Part> parts) throws MinioException { minioClient.completeMultipartUpload(bucketName, objectName, uploadId, parts); } } ``` 6. 断点续传 如果上传中断，可以使用 `ListParts` API 方法获取已上传的文件块信息，然后从中断处继续上传。 ```java public class MinioService { // ... public List<Part> listParts(String objectName, String uploadId) throws MinioException { return minioClient.listParts(bucketName, objectName, uploadId).getParts(); } } ``` 使用Spring Boot的Multipart File上传功能上传文件时，需要在Controller中添加 `@RequestParam("file") MultipartFile file` 注解，自动将文件转换为MultipartFile类型。 ```java @RestController @RequestMapping("/file") public class FileController { @Autowired private MinioService minioService; @PostMapping("/upload") public void uploadFile(@RequestParam("file") MultipartFile file) throws IOException, MinioException { // 获取文件名和文件大小 String fileName = file.getOriginalFilename(); long fileSize = file.getSize(); // 定义块大小（5MB） int partSize = 5 * 1024 * 1024; // 初始化Multipart上传会话 String uploadId = minioService.initiateMultipartUpload(fileName); // 上传文件块 List<Part> parts = minioService.uploadParts(fileName, uploadId, file, partSize); // 完成Multipart上传 minioService.completeMultipartUpload(fileName, uploadId, parts); } @PostMapping("/resume") public void resumeUpload(@RequestParam("file") MultipartFile file, String objectName, String uploadId) throws IOException, MinioException { // 获取已上传的文件块信息 List<Part> parts = minioService.listParts(objectName, uploadId); // 上传文件块 parts = minioService.uploadParts(objectName, uploadId, file, partSize); // 完成Multipart上传 minioService.completeMultipartUpload(objectName, uploadId, parts); } } ``` 以上是使用Spring Boot实现MinIO文件服务器的分片上传和断点续传的基本步骤，具体实现还需要根据实际需求进行调整。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值