SpringBoot + minio实现分片上传、秒传、续传

最新推荐文章于 2024-04-05 16:56:50 发布
最新推荐文章于 2024-04-05 16:56:50 发布
阅读量329 收藏
点赞数
分类专栏： 开发技术总结 文章标签： spring boot 后端 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38933806/article/details/132061525
版权

什么是minio

MinIO是一个基于Go实现的高性能、兼容S3协议的对象存储。它采用GNU AGPL v3开源协议，项目地址是https://github.com/minio/minio。

引用官网：

MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。

官网地址：

https://min.io/

文档地址：

https://docs.min.io/

一. 使用docker 搭建minio 服务

GNU / Linux和macOS

docker run -p 9000:9000 \   --name minio1 \   -v /mnt/data:/data \   -e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \   -e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \   minio/minio server /data

windows

docker run -p 9000:9000 \   --name minio1 \   -v D:\data:/data \   -e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \   -e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \   minio/minio server /data

  • MINIO_ROOT_USER：为用户key

  • MINIO_ROOT_PASSWORD：为用户密钥

以上搭建的都是单机版的。想要了解分布式 的方式请查看官网文档。

图片

这就是在win的docker上运行的。

更多开源项目：https://www.yoodb.com/projects/springboot-user-manger.html

当启动后在浏览器访问http://localhost:9000就可以访问minio的图形化界面了，如图所示：

图片

图片

二. 下面开始搭建springboot 环境

初始化一个springboot项目大家都会，这里不多做介绍。

主要是介绍需要引入的依赖：

<!-- thymeleaf模板渲染引擎-->  <dependency>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-thymeleaf</artifactId>        </dependency><!-- 操作minio的java客户端-->         <dependency>            <groupId>io.minio</groupId>            <artifactId>minio</artifactId>            <version>8.2.1</version>        </dependency><!-- lombok插件-->         <dependency>            <groupId>org.projectlombok</groupId>            <artifactId>lombok</artifactId>            <optional>true</optional>        </dependency>

依赖可以官方文档里找：https://docs.min.io/docs/java-client-quickstart-guide.html

下面介绍配置文件：

spring:   servlet:     multipart:       max-file-size: 10MB       max-request-size: 10MB *#minio配置*   minio:     access-key: AKIAIOSFODNN7EXAMPLE      *#key就是docker初始化是设置的，密钥相同*     secret-key: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY     url: http://localhost:9000     bucket-name: wdhcr   thymeleaf:     cache: false

创建minio的配置类:

`@Configuration
@ConfigurationProperties(prefix = “spring.minio”)
@Data
public class MinioConfiguration {
    private String accessKey;

private String secretKey;

private String url;

private String bucketName;

@Bean
    public MinioClient minioClient() {
        return MinioClient.builder()
                .endpoint(url)
                .credentials(accessKey, secretKey)
                .build();
    }
}
`

使用配置属性绑定进行参数绑定,并初始化一个minio client对象放入容器中。

下面就是我封装的minio client 操作minio的简单方法的组件。

`@Component
public class MinioComp {

@Autowired
    private MinioClient minioClient;

@Autowired
    private MinioConfiguration configuration;

/**
     * @description: 获取上传临时签名，公众 号Java精选
     * @dateTime: 2021/5/13 14:12
     */
    public Map getPolicy(String fileName, ZonedDateTime time) {
        PostPolicy postPolicy = new PostPolicy(configuration.getBucketName(), time);
        postPolicy.addEqualsCondition(“key”, fileName);
        try {
            Map<String, String> map = minioClient.getPresignedPostFormData(postPolicy);
            HashMap<String, String> map1 = new HashMap<>();
            map.forEach((k,v)->{
               map1.put(k.replaceAll(“-”,“”),v);
           });
            map1.put(“host”,configuration.getUrl()+“/”+configuration.getBucketName());
            return map1;
        } catch (ErrorResponseException e) {
            e.printStackTrace();
        } catch (InsufficientDataException e) {
            e.printStackTrace();
        } catch (InternalException e) {
            e.printStackTrace();
        } catch (InvalidKeyException e) {
            e.printStackTrace();
        } catch (InvalidResponseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        } catch (ServerException e) {
            e.printStackTrace();
        } catch (XmlParserException e) {
            e.printStackTrace();
        }
        return null;
    }

/**
     * @description: 获取上传文件的url，公众 号Java精选，有惊喜！
     * @dateTime: 2021/5/13 14:15
     */
    public String getPolicyUrl(String objectName, Method method, int time, TimeUnit timeUnit) {
        try {
            return minioClient.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder()
                    .method(method)
                    .bucket(configuration.getBucketName())
                    .object(objectName)
                    .expiry(time, timeUnit).build());
        } catch (ErrorResponseException e) {
            e.printStackTrace();
        } catch (InsufficientDataException e) {
            e.printStackTrace();
        } catch (InternalException e) {
            e.printStackTrace();
        } catch (InvalidKeyException e) {
            e.printStackTrace();
        } catch (InvalidResponseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        } catch (XmlParserException e) {
            e.printStackTrace();
        } catch (ServerException e) {
            e.printStackTrace();
        }
        return null;
    }

/**
     * @description: 上传文件
     * @dateTime: 2021/5/13 14:17
     /
    public void upload(MultipartFile file, String fileName) {
        // 使用putObject上传一个文件到存储桶中。
        try {
            InputStream inputStream = file.getInputStream();
            minioClient.putObject(PutObjectArgs.builder()
                    .bucket(configuration.getBucketName())
                    .object(fileName)
                    .stream(inputStream, file.getSize(), -1)
                    .contentType(file.getContentType())
                    .build());
        } catch (ErrorResponseException e) {
            e.printStackTrace();
        } catch (InsufficientDataException e) {
            e.printStackTrace();
        } catch (InternalException e) {
            e.printStackTrace();
        } catch (InvalidKeyException e) {
            e.printStackTrace();
        } catch (InvalidResponseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        } catch (ServerException e) {
            e.printStackTrace();
        } catch (XmlParserException e) {
            e.printStackTrace();
        }
    }
  /*
     * @description: 根据filename获取文件访问地址
     * @dateTime: 2021/5/17 11:28
     */
    public String getUrl(String objectName, int time, TimeUnit timeUnit) {
        String url = null;
        try {
            url = minioClient.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder()
                    .method(Method.GET)
                    .bucket(configuration.getBucketName())
                    .object(objectName)
                    .expiry(time, timeUnit).build());
        } catch (ErrorResponseException e) {
            e.printStackTrace();
        } catch (InsufficientDataException e) {
            e.printStackTrace();
        } catch (InternalException e) {
            e.printStackTrace();
        } catch (InvalidKeyException e) {
            e.printStackTrace();
        } catch (InvalidResponseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        } catch (XmlParserException e) {
            e.printStackTrace();
        } catch (ServerException e) {
            e.printStackTrace();
        }
        return url;
    }
}
`

简单说明：

  • 使用MultipartFile接收前端文件流，再上传到minio。

  • 构建一个formData的签名数据，给前端，让前端之前上传到minio。

  • 构建一个可以上传的临时URL给前端，前端通过携带文件请求该URL进行上传。

  • 使用filename请求服务端获取临时访问文件的URL。（最长时间为7 天，想要永久性访问，需要其他设置，这里不做说明。）

  • 推荐，公众 号Java精选，回复java面试，获取面试资料，支持在线刷题。

下面展示页面html，使用的是VUE+element-ui进行渲染。

`

                    上传图片


        
            


                

                    

传统上传


                    
                        
                        
将文件拖到此处，或 点击上传

                        
只能上传jpg/png文件，且不超过500kb

                    
                    

                        
                    

                

            

        
        
            

                

                    

前端formData直传


                    
                        
                        
将文件拖到此处，或 点击上传

                        
只能上传jpg/png文件，且不超过500kb

                    
                    

                        
                    

                

            

        
        
            

                

                    

前端Url直传


                    
                        
                        
将文件拖到此处，或 点击上传

                        
只能上传jpg/png文件，且不超过500kb

                    
                    

                        
                    

                

            

        
    

uploadHandle(options) {
                let {file} = options;
                this.traditionPost(file);
            },
            traditionPost(file) {
                _that = this
                const form = new FormData();
                form.append(“fileName”, file.name);
                form.append(“file”, file);
                this.axiosPost(“post”, “/upload”, form).then(function (res) {
                    if (res.status === 200) {
                        _that.imgUrl = res.data.data
                    } else {
                        alert(“上传失败！”)
                    }
                })
            },
            getpolicy(file) {
                _that = this
                axios.get(‘policy?fileName=’ + file.name)
                    .then(function (response) {
                        let {xamzalgorithm, xamzcredential, policy, xamzsignature, xamzdate, host} = response.data.data;
                        let formData = new FormData();
                        formData.append(“key”, file.name);
                        formData.append(“x-amz-algorithm”, xamzalgorithm);  // 让服务端返回200，不设置则默认返回204。
                        formData.append(“x-amz-credential”, xamzcredential);
                        formData.append(“policy”, policy);
                        formData.append(“x-amz-signature”, xamzsignature);
                        formData.append(“x-amz-date”, xamzdate);
                        formData.append(“file”, file);
                        // 发送 POST 请求
                        _that.axiosPost(“post”, host, formData).then(function (res) {
                            if (res.status === 204) {
                                axios.get(‘url?fileName=’ + file.name).then(function (res) {
                                    _that.directUrl = res.data.data;
                                })
                            } else {
                                alert(“上传失败！”)
                            }
                        })
                    })
            },
            httpRequestHandle(options) {
                let {file} = options;
                this.getpolicy(file);
            },

UrlUploadHandle(options) {
                let {file} = options;
                this.getUploadUrl(file);
            },
            getUploadUrl(file) {
                _that = this
                console.log(file)
                axios.get(‘uploadUrl?fileName=’ + file.name)
                    .then(function (response) {
                        let url = response.data.data;
                        // 发送 put 请求
                        let config = {‘Content-Type’: file.type}
                        _that.axiosPost(“put”, url, file, config).then(function (res) {
                            if (res.status === 200) {
                                axios.get(‘url?fileName=’ + file.name).then(function (res) {
                                    _that.uploadUrl = res.data.data;
                                })
                            } else {
                                alert(“上传失败！”)
                            }
                        })
                    })
            },
            //封装
            //axios封装post请求
            axiosPost(method, url, data, config) {
                let result = axios({
                    method: method,
                    url: url,
                    data: data,
                    headers: config
                }).then(resp => {
                    return resp
                }).catch(error => {
                    return “exception=” + error;
                });
                return result;
            }

}
    })

`

图片

页面的效果就如上图所示。

可以分别体验不同的实现效果。

以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。

本项目地址:

https://gitee.com/jack_whh/minio-upload

作者：HUWD

https://blog.csdn.net/weixin_45089791/article/details/116921075/

森火123
关注
专栏目录
Vue+SpringBoot+MinIo 实现大文件秒传、断点续传和分片上传完整教程
qq_45525848的博客
10-05 880
Vue+SpringBoot+MinIo 实现大文件秒传、断点续传和分片上传完整教程
go使用minio
不负韶华，加油！
02-26 3993
https://docs.min.io/docs/golang-client-quickstart-guide https://blog.csdn.net/abao_gege/article/details/109576634 用环境变量 GO111MODULE 开启或关闭模块支持，它有三个可选值：off、on、auto，默认值是 auto。 GO111MODULE=off 无模块支持，go 会从 GOPATH 和 vendor 文件夹寻找包。 GO111MODULE=on 模块支持，go 会忽略 GOPA
Minio 简单分片上传
qq_52462620的博客
02-22 1018
首先准备一些分片的文件，可以随便找一个本地的视频，然后通过以下代码简单的进行分片:把源文件按照分块大小分片之后存放到输出目的地文件夹中。对于最后一个分片 大小是可以不用管的 但是其余分片大小一定要 大于 5MB。温馨提示 分片大小不要低于5MB否则会报。至此，简单分片上传并且合并已经完成。
SpringBoot 整合 MinIO 实现视频的分片上传/断点续传（亲测可行）
06-25 799
1、前言之前做了一个慕课网上的仿短视频开发，里面有很多比较粗糙的实现，比如视频上传部分是直接由前端上传云服务，没考虑到客户的网络环境质量等问题，如果一个视频快上传完了，但是网断了没有上传完成需要客户重新上传，这对于用户体验是极差的。那么我们对于视频文件的上传可以采取断点续传，上传过程中，如果出现网络异常或程序崩溃导致文件上传失败时，将从断点记录处继续上传未上传完成的部分，断点续传依赖于MD5和分片...
视频分块上传Vue3+SpringBoot3+Minio
最新发布
m0_51390969的博客
04-05 3437
前端将完整的视频文件分割成多份文件块，依次上传到后端，后端将其保存到文件系统。前端将文件块上传完毕后，发送合并请求，后端拿取文件块，合并后重新上传到文件系统。 前端遍历文件块，每次上传之前，先询问文件块是否存在，只有不存在的情况下，才会上传。 前端分割视频文件前，先询问此视频是否已经存在，存在则不再上传，后端之间返回视频信息。前端看起来就像是被秒传了。 可以写一个定时任务，遍历没有后缀的文件块，判断其创建时间距离当前是否足够久，是则删除。
springboot整合Minio + vue 实现文件分片上传（完整代码已更新）
weixin_45357745的博客
03-01 7190
网上关于minio分片上传的资料不太详细，缺斤少两，所以我基于他们的代码做了一些修改，demo能够正常运行起来，但是偶尔也会发生一些小bug，不过这些都无伤大雅，最终目的是理解代码背后的逻辑和流程。
SpringBoot + minio实现文件切片极速上传技术源码
03-13
Minio是一款开源的对象存储服务器，它可以运行在多种操作系统上，包括Linux、Windows和MacOS等。它提供了一种简单、可扩展、高可用的对象存储解决方案，支持多种数据格式，包括对象、块和文件等。 以下是Minio的...
SpringBoot + minio实现文件切片极速上传技术源码（敢说全网整合完整度前三）
06-02
Minio是一款开源的对象存储服务器，它可以运行在多种操作系统上，包括Linux、Windows和MacOS等。它提供了一种简单、可扩展、高可用的对象存储解决方案，支持多种数据格式，包括对象、块和文件等。 以下是Minio的...
springboot集成minio实现了分片上传功能源码+项目说明.zip
12-20
springboot集成minio实现了分片上传功能源码+项目说明.zip vue版本的：前端 后端 快速开始 后端 修改配置文件application.yml: minio: endpoint: accessKey: secretKey: bucketName: downloadUri: #配置...
工作实战之大文件上传minio
zengliangxi的专栏
03-10 6191
大文件上传，要解决的问题： 1.文件太大，请求限制，2.文件太大，耗时太久，连接超时 3.断点续传 解决方案：采用分片的方式进行上传 前端用百度开源的WebUploader进行分片异步上传 后端用minio的putObject上传，composeObject合并，完成大文件的上传
gin框架上传文件到minio
weixin_42562106的博客
05-14 443
【代码】go上传文件到minio。
Minio实现本地文件的上传
m0_64823170的博客
03-01 4908
application.yml中关于Minio的配置代码如下minio:endpoint: http://192.168.160.1:9000 #Minio服务所在地址bucketName: xfs999 #存储桶名称accessKey: YtVsDJy5ZXKsFaNshoXk #访问的keysecretKey: 7yFu7bhTIgyFmFa6YLVysR60QMVIdhnxenN5o4Lh #访问的秘钥。
minio 文件服务器,【golang】minio文件服务器使用教程
weixin_29188997的博客
07-30 728
项目中需要大量用到从文件服务器获取文件，为了减少一丁点内存的复用，使用了基本的sync.pool，具体代码如下：var defaultBucketName = "worker"var defaultLocation = "us-east-1"var minioServerPool *sync.Poolfunc init() {minioServerPool = &sync.Pool{New...
springboot 整合minio client 简单使用 视频流展示demo
weixin_41115084的博客
12-23 6054
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
使用minio实现图片和视频的上传
weixin_65379795的博客
05-09 3781
图片是前端传过来的，我们用MultipartFile file来接收，上传到minio之后要把生成的路径传给前端页面显示，但是路径也传到了数据库中。在MinIO中，每个用户都有一个访问密钥和一个秘密密钥，用于访问和管理存储桶和对象。据库的主要目的是存储和管理结构化数据，而视频和图片是非结构化数据，因此存储它们可能需要使用不同的技术和工具。数据库可以存储视频和图片，但是存储大量的视频和图片会占用大量的存储空间，导致数据库变得庞大和缓慢。，可以用来存储和检索任何类型的文件，包括图片、视频、文档等。
Minio(储桶bucket)上传和下载文件【Java】（图片转流、base64）
fei飞来了
02-20 7548
Controller package com.sjasoft.cloud.admin.controller.ems; import com.sjasoft.cloud.admin.service.ems.SafetyMonitoringService; import com.sjasoft.framework.spring.bean.Result; import com.sjasoft.mbg.ems.model.EmsAlert; import io.swagger.annotations.Api; i
SpringBoot 集成MinIO
热门推荐
赵先森
07-28 1万+
SpringBoot 集成MinIO 引入jar包 <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>7.0.2</version> </dependency> 配置 minio: endpoint: 172.28.43.29 port: 9000
minio下载文件速度很慢的原因分析与说明
是谢添啊
02-11 1万+
断点续传，Minio下载分片文件速度很慢，minio下载小文件速度很慢原因分析，minioclient的downloadObject方法源码分析，minio下载文件第一次很慢，之后很慢原因，minio下载文件有时快有时慢，minio断点续传后合并文件速度很慢。后端项目启动在本地，而minio服务放在了轻量服务器，后端项目从minio下载文件必须外网访问的缘故。
springboot使用minio实现分片上传、秒传、续传
06-25
使用 Spring Boot 结合 Minio 实现分片上传、秒传、续传可以让程序更加可靠、高效。 首先，使用 Minio 提供的 SDK，我们可以通过 Spring Boot 实现文件的分片上传，将大文件进行分割，再逐个上传，这样不仅可以避免...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值