JAVA集成Minio之存储桶操作API使用详解

最新推荐文章于 2024-10-10 00:15:00 发布

奔走的蚂蚁~

最新推荐文章于 2024-10-10 00:15:00 发布

阅读量1k

点赞数 17

分类专栏：分布式存储文章标签：分布式存储

本文链接：https://blog.csdn.net/qq_34901859/article/details/138953325

版权

分布式存储专栏收录该内容

13 篇文章 1 订阅

订阅专栏

系列文章目录

第六章 JAVA集成Minio之存储桶操作API使用详解

多种SDK

官方文档：https://min.io/docs/minio/kubernetes/upstream/index.html?ref=docs-redirect

Minio 提供了多种语言的SDK，比如java、go、python等。JAVA开发平台可以选择JS和java SDK，也就是前端和后端都可以直接集成minio。

https://github.com/minio/minio-java

技术方案

每个OSS的用户都会用到上传服务。Web端常见的上传方法是用户在浏览器或App端上传文件到应用服务器，应用服务器再把文件上传到OSS。具体流程如下图所示。
在这里插入图片描述
和数据直传到OSS相比，以上方法有三个缺点：

上传慢：用户数据需先上传到应用服务器，之后再上传到OSS。网络传输时间比直传到OSS多一倍。如果用户数据不通过应用服务器中转，而是直传到OSS，速度将大大提升。而且OSS采用BGP带宽，能保证各地各运营商之间的传输速度。
扩展性差：如果后续用户多了，应用服务器会成为瓶颈。
费用高：需要准备多台应用服务器。由于OSS上传流量是免费的，如果数据直传到OSS，不通过应用服务器，那么将能省下几台应用服务器。

目前通过Web前端技术上传文件到OSS，有三种技术方案：

利用OSS js SDK将文件上传到OSS，也就是前端直连OSS，但是容易暴露认证信息，安全性不太高。
使用表单上传方式，将文件上传到OSS。利用OSS提供的接口临时接口，使用表单上传方式将文件上传到OSS。然后请求后端，告知上传完成，进行后续处理。
先上传到应用服务器，再请求OSS上传，这种安全性较高，可以对数据和认证进行管控，但是性能最差。

集成 JAVA SDK

因为一般的非互联网项目，对性能要求不高，所以采用JAVA SDK集成MInio，然后提供接口给Web端调用就行了。

环境搭建

首先搭建一个Maven基础工程，引入相关依赖，这里引入的是最新的8.3.1版本。还引入了okhttp的最新包，不然某些API会提示版本太低。

<dependency>
	<groupId>io.minio</groupId>
	<artifactId>minio</artifactId>
	<version>8.3.1</version>
</dependency>
<dependency>
    <groupId>com.squareup.okhttp3</groupId>
    <artifactId>okhttp</artifactId>
    <version>4.9.2</version>
</dependency>

初始化客户端

可以看到现在minio都是采用Builder构建者模式来构造对象，和之前有很大的区别，所以需要注意。

 // 初始化客户端
        MinioClient minioClient =
                MinioClient.builder()
                        // minio服务端地址URL
                        .endpoint("http://localhost:9000")
                        // 用户名及密码（访问密钥/密钥）
                        .credentials("admin", "admin123")
                        .build();

存储桶基础操作

1. 存储桶是否存在

检查存储桶是否存在。

public boolean bucketExists(BucketExistsArgs args)

示例代码：

	// 1.存储桶是否存在
        boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket("my-bucketname").build());
        if (found) {
   
     
            System.out.println("my-bucketname exists");
        } else {
   
     
            System.out.println("my-bucketname does not exist");
        }

2. 创建存储桶

创建一个启用给定区域和对象锁定功能的存储桶。

public void makeBucket(MakeBucketArgs args)

示例代码：

 // 2.1 my-bucketname 存储桶不存在则创建
        if (!found) {
   
     
            minioClient.makeBucket(MakeBucketArgs.builder().bucket("my-bucketname").build());
            System.out.println("my-bucketname is created successfully");
        }

        // 2.2 创建存储桶my-bucketname-in-eu 并指定区域为eu-west-1
        if (!minioClient.bucketExists(
                BucketExistsArgs.builder().bucket("my-bucketname-in-eu").build())) {
   
     
            minioClient.makeBucket(
                    MakeBucketArgs.builder().bucket("my-bucketname-in-eu").region("eu-west-1").build());
            System.out.println("my-bucketname-in-eu is created successfully");
        }

        // 2.3 创建存储桶 'my-bucketname-in-eu-with-object-lock' 区域为 'eu-west-1' ，
        // 并且锁定对象，功能不可用
        if (!minioClient.bucketExists(
                BucketExistsArgs.builder().bucket("my-bucketname-in-eu-with-object-lock").build())) {
   
     
            minioClient.makeBucket(
                    MakeBucketArgs.builder()
                            .bucket("my-bucketname-in-eu-with-object-lock")
                            .region("eu-west-1")
                            .objectLock(true)
                            .build());
            System.out.println("my-bucketname-in-eu-with-object-lock is created successfully");
        }

创建后，就可以在控制台看到这些存储桶了，最后那个被锁定的存储桶，上传文件及删除后，发现还是会显示存在这些对象，实际磁盘上的文件并没有删除
在这里插入图片描述

3. 查询存储桶信息列表

列出所有桶的桶信息。

public List<Bucket> listBuckets()

示例代码：

// 3.  存储桶信息列表。
        List<Bucket> bucketList = minioClient.listBuckets();
        for (Bucket bucket : bucketList) {
   
     
            System.out.println(bucket.creationDate() + ", " + bucket.name());
        }

4. 删除存储桶

删除一个空桶。

public void removeBucket(RemoveBucketArgs args)

示例代码：

   // 4. 删除存储桶
        if (found) {
   
     
            minioClient.removeBucket(RemoveBucketArgs.builder().bucket("my-bucketname").build());
            System.out.println("my-bucketname is removed successfully");
        } else {
   
     
            System.out.println("my-bucketname does not exist");
        }

设置存储桶操作

1. 加密配置

设置桶的加密配置，以允许在该桶中上传对象时，采用对应加密配置对数据进行加密。当前支持配置的服务端加密方式为KMS托管密钥的服务端加密(SSE-KMS)，及AES256加密。

public enum SseAlgorithm {
   
     
    AES256("AES256"),
    AWS_KMS("aws:kms");
}

设置桶的加密配置：

public void setBucketEncryption(SetBucketEncryptionArgs args)

获取桶的加密配置:

public SseConfiguration getBucketEncryption(GetBucketEncryptionArgs args)

案例需要配置KMS，后续后出详细文档。

2.生命周期

生命周期管理可适用于以下典型场景：

周期性上传的日志文件，可能只需要保留一个星期或一个月。到期后要删除它们。
某些文档在一段时间内经常访问，但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储，归档存储或者删除。

存储桶生命周期配置：

public void setBucketLifecycle(SetBucketLifecycleArgs args)

获取桶的生命周期配置：

public LifecycleConfiguration getBucketLifecycle(GetBucketLifecycleArgs args)

示例代码：

  // 5. 生命周期
        List<LifecycleRule> rules = new LinkedList<>();
        // 配置生命周期规则
        rules.add(
                new LifecycleRule(
                        Status.ENABLED, // 开启状态
                        null,
                        new Expiration((ZonedDateTime) null, 365, null), // 保存365天
                        new RuleFilter("logs/"), // 目录配置
                        "rule2",
                        null,
                        null,
                        null));
        LifecycleConfiguration lifecycleConfiguration = new LifecycleConfiguration(rules);
        // 添加生命周期配置
        minioClient.setBucketLifecycle(
                SetBucketLifecycleArgs.builder().bucket("my-bucketname").config(lifecycleConfiguration).build());
        // 获取配置
        LifecycleConfiguration lifecycleConfiguration1111 =
                minioClient.getBucketLifecycle(
                        GetBucketLifecycleArgs.builder().bucket("my-bucketname").build());
        List<LifecycleRule> rules1 = lifecycleConfiguration1111.rules();
        for (int i = 0; i < rules1.size(); i++) {
   
     
            System.out.println("Lifecycle status is " + rules1.get(i).status());
            System.out.println("Lifecycle prefix is " + rules1.get(i).filter().prefix());
            System.out.println("Lifecycle expiration days is " + rules1.get(i).expiration().days());
        }

3. 通知配置

可以使用存储桶事件通知来监控存储桶中对象上发生的事件。
存储桶配置通知：

public void setBucketPolicy(SetBucketPolicyArgs args)

获取桶的通知配置：

public NotificationConfiguration getBucketNotification(GetBucketNotificationArgs args)

代码示例：

 // 6. 通知配置 
        // Add a new SQS configuration.
        NotificationConfiguration notificationConfiguration = new NotificationConfiguration();
        List<QueueConfiguration> queueConfigurationList = notificationConfiguration.queueConfigurationList();
        QueueConfiguration queueConfiguration = new QueueConfiguration();
        queueConfiguration.setQueue("arn:minio:sqs::1:webhook");

        List<EventType> eventList = new LinkedList<>();
        eventList.add(EventType.OBJECT_CREATED_PUT);
        eventList.add(EventType.OBJECT_CREATED_COPY);
        queueConfiguration.setEvents(eventList);
        queueConfiguration.setPrefixRule("images");
        queueConfiguration.setSuffixRule("pg");

        queueConfigurationList.add(queueConfiguration);
        notificationConfiguration.setQueueConfigurationList(queueConfigurationList);

        // Set updated notification configuration.
        minioClient.setBucketNotification(
                SetBucketNotificationArgs.builder().bucket("my-bucketname").config(notificationConfiguration).build());
        System.out.println("Bucket notification is set successfully");

        NotificationConfiguration minioClientBucketNotification =
                minioClient.getBucketNotification(
                        GetBucketNotificationArgs.builder().bucket("my-bucketname").build());
        System.out.println(minioClientBucketNotification);

4. 策略配置

添加存储桶策略配置。

public void setBucketPolicy(SetBucketPolicyArgs args)

获取桶的桶策略配置。

public String getBucketPolicy(GetBucketPolicyArgs args)

内容较多，后续后出详细文档。

5. 复制配置

存储桶复制旨在将存储桶中的选定对象复制到目标存储桶，内容较多，后续补上

添加存储桶的复制配置

public void setBucketReplication(SetBucketReplicationArgs args)

获取桶的桶复制配置：

public ReplicationConfiguration getBucketReplication(GetBucketReplicationArgs args)

6. 存储桶标签

当为桶添加标签时，该桶上所有请求产生的计费话单里都会带上这些标签，从而可以针对话单报表做分类筛选，进行更详细的成本分析。例如：某个应用程序在运行过程会往桶里上传数据，我们可以用应用名称作为标签，设置到被使用的桶上。在分析话单时，就可以通过应用名称的标签来分析此应用的成本。

setBucketTags可以为存储桶设置标签。

public void setBucketTags(SetBucketTagsArgs args)

getBucketTags获取桶的标签。

public Tags getBucketTags(GetBucketTagsArgs args)

示例代码：

  // 1. 存储桶标签
        Map<String, String> map = new HashMap<>();
        map.put("Project", "Project One");
        map.put("User", "jsmith");
        // 设置标签
        minioClient.setBucketTags(SetBucketTagsArgs.builder().bucket("my-bucketname").tags(map).build());
        // 查询标签
        Tags bucketTags = minioClient.getBucketTags(GetBucketTagsArgs.builder().bucket("my-bucketname").build());
        System.out.println(bucketTags.get().toString());

7. 多版本设置

若开启了多版本控制，上传对象时，OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。

若未开启多版本控制，向同一个文件夹中上传同名的对象时，新上传的对象将覆盖原有的对象。

某些功能（例如版本控制、对象锁定和存储桶复制）需要使用擦除编码分布式部署 MinIO。开启了版本控制后，允许在同一密钥下保留同一对象的多个版本。

设置存储桶的版本控制配置。

public void setBucketVersioning(SetBucketVersioningArgs args)

获取存储桶的版本控制配置。

public VersioningConfiguration getBucketVersioning(GetBucketVersioningArgs args)

示例代码：

  // 2. 版本配置
        // 'my-bucketname'启用版本控制
        minioClient.setBucketVersioning(
                SetBucketVersioningArgs.builder()
                        .bucket("my-bucketname")
                        .config(new VersioningConfiguration(VersioningConfiguration.Status.ENABLED, null))
                        .build());
        System.out.println("Bucket versioning is enabled successfully");

        //  'my-bucketname'暂停版本控制
        minioClient.setBucketVersioning(
                SetBucketVersioningArgs.builder()
                        .bucket("my-bucketname")
                        .config(new VersioningConfiguration(VersioningConfiguration.Status.SUSPENDED, null))
                        .build());
        System.out.println("Bucket versioning is suspended successfully");

8. 对象锁定配置

对象锁定设置后，删除对象后，会仍然存在磁盘中。

在存储桶中设置对象锁定配置。

public void setObjectLockConfiguration(SetObjectLockConfigurationArgs args)

获取存储桶中的对象锁配置。

public ObjectLockConfiguration getObjectLockConfiguration(GetObjectLockConfigurationArgs args)

需要先设置存储桶为对象锁定模式，示例代码：

// 3. 将保留模式设置为Compliance，且持续时间为100天
        // 设置锁定对象的保留模式及时限
        ObjectLockConfiguration config =
                new ObjectLockConfiguration(RetentionMode.COMPLIANCE, new RetentionDurationDays(100));
        minioClient.setObjectLockConfiguration(
                SetObjectLockConfigurationArgs.builder()
                        .bucket("my-bucketname-in-eu-with-object-lock")
                        .config(config)
                        .build());
        System.out.println("object-lock configuration is set successfully");
        // 获取锁定配置
        ObjectLockConfiguration objectLockConfiguration =
                minioClient.getObjectLockConfiguration(
                        GetObjectLockConfigurationArgs.builder()
                                .bucket("my-lock-enabled-bucketname")
                                .build());

        System.out.println("Object-lock configuration of bucket");
        System.out.println("Mode: " + objectLockConfiguration.mode());
        System.out.println("Duration: " + objectLockConfiguration.duration());

删除配置

minio提供了一些列的delete方法用于删除配置，比较简单，就不距离说明了。

1. 删除桶的加密配置

private void deleteBucketEncryption(DeleteBucketEncryptionArgs args)

2. 删除存储桶的生命周期配置

private void deleteBucketLifecycle(DeleteBucketLifecycleArgs args)

3. 删除桶的标签

private void deleteBucketTags(DeleteBucketTagsArgs args)

4. 删除桶的桶策略配置

private void deleteBucketPolicy(DeleteBucketPolicyArgs args)

5. 删除存储桶的存储桶复制配置

private void deleteBucketReplication(DeleteBucketReplicationArgs args)

6. 删除桶的通知配置

public void deleteBucketNotification(DeleteBucketNotificationArgs args)

7. 删除存储桶中的对象锁定配置

public void deleteObjectLockConfiguration(DeleteObjectLockConfigurationArgs args)

奔走的蚂蚁~

关注

17
点赞
踩
30

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录