java语言操控minio实现文件的版本管理（基于springboot项目）

已于 2024-05-31 15:22:02 修改
阅读量541 收藏 3
点赞数 11
分类专栏： java 文章标签： java spring boot 分布式存储 minio
于 2024-05-24 11:59:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42684368/article/details/139164949
版权

文章目录

一、简介

minio是一款分布式的对象存储服务，本文主要介绍通过springboot项目实现对minio存储系统中文件的版本管理。minio存储服务中可以手动开启版本管理的功能，开启版本管理后每个文件的变更都会生成一个新的版本，包括文件的第一次上传、文件的覆盖以及文件的删除等，每个版本都会有一个版本编号versionId，后续都会根据每个文件的各个版本编号进行版本管理。

minio中文官网java指南：https://minio.org.cn/docs/minio/linux/developers/java/minio-java.html
minio中文官网java API：https://minio.org.cn/docs/minio/linux/developers/java/API.html
minio环境搭建：https://blog.csdn.net/weixin_42684368/article/details/136449419

二、相关依赖

		<!-- 注意minio版本，不同版本对应api不一样 -->
        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.5.10</version>
        </dependency>

		<dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>4.9.3</version>
        </dependency>

三、功能实现

3.1、minio客户端初始化

// minio的所有操作都是基于minio客户端对象实现的，首先需要初始化minio客户端对象
MinioClient minioClient = MinioClient.builder().endpoint("http://127.0.0.1:19011").credentials("minioadmin", "minioadmin").build();

3.2、创建带有版本管理的bucket

    public void createVersionBucket(String bucketName,MinioClient minioClient){
        try {
            //  判断当前bucket是否存在
            boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
            if(!found){
                // 创建bucket
                minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
                // 开启当前bucket的版本管理功能
                VersioningConfiguration versioningConfiguration = new VersioningConfiguration(VersioningConfiguration.Status.ENABLED,true);
                minioClient.setBucketVersioning(SetBucketVersioningArgs.builder().bucket(bucketName).config(versioningConfiguration).build());
                log.info("minio初始化桶："+bucketName);
            }
        } catch (Exception e) {
            log.error(e.getMessage());
        }
    }

3.3、文件上传

    
    /**
     * 单个文件上传到minio并返回对应的版本id
     * 
     * 其中objectName 是文件上传到minio中的全路径
     * fileName是本地文件全路径
     * bucketName 是桶名称
     * 如 fileName = "D:/test.txt",objectName = "测试/test.txt"
     * 则会将D盘下的test.txt文件上传到minio对应bucketName桶（bucket）下的测试目录中
	 */
    public static String minio_uploadSingleFile(String objectName,String fileName){
        objectName = objectName.replace("\\","/");
        // 上传文件
        try {
            ObjectWriteResponse objectWriteResponse = minioClient.uploadObject(UploadObjectArgs.builder()
                    .bucket(bucketName)
                    .object(objectName)  // 上传到分布式系统的文件名称
                    .filename(fileName) // 本地文件路径
                    .build());
            return objectWriteResponse.versionId();
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

	// 本地文件夹上传
	public static void minio_uploadLocalFile(String dirName){
        File files = new File(dirName);
        for (File file : files.listFiles()) {
            String versionId = minio_uploadSingleFile(dirName + "/" + file.getName(), file.getPath());
        }
    }

	// 文件流上传
	public static String minio_uploadFile(MultipartFile file,String objectName){
        try {
            InputStream inputStream = file.getInputStream();
            return minioClient.putObject(
                    PutObjectArgs.builder()
                            .bucket(bucketName)
                            .object(objectName)
                            .contentType(file.getContentType())
                            .stream(inputStream, inputStream.available(), -1)
                            .build()).versionId();
        } catch (Exception e) {
            log.error("文件上传至minio出错："+e.getMessage());
        }
        return null;
    }

	// 多文件流上传 将文件都上传到bucketName桶下dirName目录中
	public static void uploadToMinio(List<MultipartFile> multipartFiles, String dirName) {

        if(multipartFiles != null) {
            for (int i = 0; i < multipartFiles.size(); i++) {
                String versionId = minio_uploadFile(multipartFiles.get(i), dirName+"/"+multipartFiles.get(i).getName());
            }
        }
    }

3.4、获取minio文件夹下所有文件以及对应的所有版本

    public static void minio_listVersion(String dirName){
        try {
			// includeVersions为true表示查找结果包含文件的所有历史版本，recursive为true表示对整个文件夹进行递归查找，会获取所有文件
			// prefix 表示查找文件名的前缀，minio每个文件都会有个objectName属性，比如test.txt在"测试"目录下,
			// 那么test.txt的objectName则是-> 测试/test.txt ,也就是测试目录下的所有文件objectName都包含前缀 "测试/"
            Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().includeVersions(true).bucket("java-bucket").prefix(dirName+"/").recursive(true).build());
            for (Result<Item> result : results) {
                System.out.println(result.get().objectName());
                System.out.println(result.get().versionId());

            }
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

3.5、获取minio文件夹下所有文件

    public static void minio_list(String dirName){
        try {
			// recursive为true表示对整个文件夹进行递归查找，会获取所有文件
			// prefix 表示查找文件名的前缀，minio每个文件都会有个objectName属性，比如test.txt在"测试"目录下,
			// 那么test.txt的objectName则是-> 测试/test.txt ,也就是测试目录下的所有文件objectName都包含前缀 "测试/"
            Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket("java-bucket").prefix(dirName+"/").recursive(true).build());
            for (Result<Item> result : results) {
                System.out.println(result.get().objectName());
                System.out.println(result.get().versionId());
            }
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

3.6、文件下载

    
    // 下载单个文件到本地
    public static void minio_downloadFile(String objectName,String fileName){
        try {
            minioClient.downloadObject(DownloadObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .filename(fileName)
                         //.versionId(versionId) 如果需要下载该文件的特定版本则需要指定
                        .build());
        } catch (Exception e) {
            log.info("下载minio文件出现错误："+e.getMessage());
        }
    }

	// 文件流压缩下载
    public static void minio_downloadByStream(String dirName, HttpServletResponse response){

        ZipOutputStream zos = null;
        try {
            response.setHeader("Content-Disposition", "attachment;filename=" +  java.net.URLEncoder.encode(dirName+".zip","UTF-8"));
            //压缩流传输
            zos =  new ZipOutputStream(response.getOutputStream());
			
			// 获取当前目录下的所有文件列表
            Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).prefix(dirName+"/").recursive(true).build());
            for (Result<Item> result : results) {
                InputStream in ;

                byte[] buf = new byte[1024];
                int len;
                // 获取文件流
                in = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).build());
                zos.putNextEntry(new ZipEntry(result.get().objectName()));
                while ((len = in.read(buf)) > 0) {
                    zos.write(buf, 0, len);
                }

            }
            response.setContentType("application/zip");
            response.flushBuffer();
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            assert zos != null;
            try {
                zos.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }

    }

注意：当需要下载特定版本的文件只需要加上.versionId(versionId)即可

in = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).versionId(versionId).build());

3.7、文件删除

/**
     * 彻底从minio中删除目录，即删除所有文件的所有版本
     * @param modelName
     */
    public static void deleteDirFromMinioComplete(String dirName){

            try {
                Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).prefix(dirName+"/").includeVersions(true).recursive(true).build());
                for (Result<Item> result : results) {
                    minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).versionId(result.get().versionId()).build());
                }
                log.info(Thread.currentThread().getName()+" 线程成功从minio中删除目录 "+ finalModelName);
            } catch (Exception e) {
                log.error("删除minio中文件出现错误："+e.getMessage());
            }
    }

	// 删除文件，但是会留下新版本，还可以通过版本id恢复
    public static void deleteDirFromMinio(String dirName){
        try {
            Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).prefix(dirName+"/").recursive(true).build());
            for (Result<Item> result : results) {
                minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).build());
            }
        } catch (Exception e) {
            log.error("删除minio中文件出现错误："+e.getMessage());
        }

    }
cah黎明就在眼前
关注
  • 11
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux-amd64-minio
02-28
linux-amd64环境运行， 版本号: RELEASE.2019-02-26T19-51-46Z， 具体使用方式参考博客: https://blog.csdn.net/justlpf/article/details/87857254
SpringBoot(31) 整合MinIO实现文件上传与下载
08-17
SpringBoot(31) 整合MinIO实现文件上传与下载
Minio入门系列【11】多版本功能使用详解
记录知识、锤炼自我
10-20 7327
前言 使用场景 利用多版本控制，您可以在一个桶中保留多个版本的对象，使您更方便地检索和还原各个版本，在意外操作或应用程序故障时快速恢复数据。 默认情况下，新创建的桶不会开启多版本功能，向同一个桶上传同名的对象时，新上传的对象将覆盖原有的对象。 多版本控制 版本说明： 版本 描述 最新版本 多版本控制开启后，同名对象多次操作，每次操作都会对应一个版本号进行保存。最后一次操作保存的版本号，为最新版本。 历史版本 多版本控制开启后，同名对象多次操作，每次操作都会对应一个版本号进行保存。除最后一
MinIO版本控制详解
m0_63004124的博客
05-10 938
两个人上传同一张图片到MinIO中，MinIO只会保留一份数据。如果某一个人删除了图片，那么另一个人就会受到影响。MinIO的版本控制使用户可以在同一存储桶中保留对象的多个变体。
Minio控制台详细教程
HoJe的博客
03-05 1万+
此文讲解Minio控制台详细教程，可能会涉及到有些知识大家可能不懂情况。需要知道Minio兼容的是AMS S3对象存储服务。需要知道AMS S3对象存储服务是什么，里面涉及的到配置如何去配等等。
docker 安装 minio (单体架构)
emmmm.....
11-03 1454
查询 minio 镜像 拉取镜像 创建启动 minio 容器 访问 minio Web 控制台 遇到的问题与解决 无法访问 minio Web 控制台 Access key length should be at least 3, and secret key length at least 8 characters
【译】MinIO版本控制、元数据和存储深入剖析
最新发布
bigarmy的博客
06-14 12
起初是来源于一个SUBNET问题。一位客户观察到他们的部署出现了性能衰减现象。经过一些调查，我们发现客户运行的一个脚本是问题的原因。该脚本是一个同步脚本，每次运行之间有一分钟的延迟，用于上传目录的内容。由于客户使用了服务器端复制，目标存储桶启用了版本控制。上传脚本采用了一种简单的方法，每次运行时都会上传所有文件。为了控制版本数量，客户使用了自动对象过期规则，删除所有早于一天的版本。我们发现的问题是，即使文件很小，版本数量在生命周期运行之间累积的数量也会对系统造成重大负载。
Spring boot整合MinIO客户端实现文件管理
06-27
本项目集成Minio的java客户端SDK，对Minio文件服务器进行读写，将操作封装为MinioUtil工具，直接在项目中可以复用。其操作主要包括： 上传文件 下载文件 读取桶列表 读取桶中的文件列表 删除桶 删除文件 Spring ...
Springboot通过MinIO进行文件操作代码
09-27
Springboot通过MinIO进行文件上传、文件下载、删除文件的功能代码，以及图片视频文件的预览功能代码
SpringBoot2 整合MinIO中间件实现文件便捷管理功能
08-18
主要介绍了SpringBoot2 整合MinIO中间件，实现文件便捷管理,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
Minio：Java Client 快速入门指南和API参考文档
02-18
个人导出这两部分，方便平时查看使用。官方文档地址：https://docs.minio.io/。官方有中文翻译，在左上角可以切换
基于Java写minio客户端实现上传下载文件
08-19
主要介绍了基于Java写minio客户端实现上传下载文件,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Minio
惰立的博客
08-26 1万+
minio
什么是MinIO
热门推荐
joshua317的博客
12-09 5万+
MinIO 是一款高性能、分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。MinIO提供高性能、S3兼容的对象存储。Minio 是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
Minio8 获取文件信息(文件大小)
IT_Mr_Wang的博客
05-06 5996
Minio8 获取文件信息pom文件引入jar包方法获取MInio链接封装获取文件信息statObject(StatObjectArgs args)方法StatObjectArgs类StatObjectResponse 类例子（获取文件大小） pom文件引入jar包 <dependency> <groupId>io.minio</groupId> <artifactId>minio</arti
第三章：minio的javaAPI
胡汉三
05-12 1万+
在之前我们已经把minio的服务端，客户端，以及镜像备份都做好了，现在我们来试试通过java的API来操作minio。 环境是Spring boot的 版本是2.1.4.RELEASE 参照官方的API文档：https://docs.min.io/cn/java-client-quickstart-guide.html 配置 首先我们先引入minio的maven配置： <!-- minio配置 --> <dependency> <groupId>
C++学习(53)：文件的读写 ofstream ifstream fstream
超级大洋葱的博客
08-20 568
示例代码： #include<iostream> #include <fstream> using namespace std; int main() { //ofstream输出流写文件 /*ofstream o; o.open("1.txt", ios::out);//每一次，都将删除上一次的文件，新建文件 o << "hello"; o.write("world!", strlen("world!")); o.close();
删除符合一定条件的若干行数据
ch206265的博客
10-13 1255
关键： #删除month字段中内容是'1/','2/','6/','7/','8/','9/','10','11','12'的行 data=data[~(data['month'].isin(['1/','2/','6/','7/','8/','9/','10','11','12']))] #仅删除字段名为month的一整列数据 data=data.drop(['month'],axis=1) import pandas as pd import numpy as np #导入数据 #data .
springboot minio实现文件预览
08-30
Spring Boot与Minio结合可以实现文件预览功能。Minio是一个开源的对象存储服务器，可以很方便地进行文件上传和下载。在Spring Boot项目中集成Minio，可以使用Minio提供的API进行文件操作，如上传、下载、删除等。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值