分布式存储MinIO使用

最新推荐文章于 2024-10-09 20:24:59 发布
最新推荐文章于 2024-10-09 20:24:59 发布
阅读量430 收藏
点赞数
文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33266327/article/details/131247371
版权
本文详细介绍了如何使用Docker安装MinIO，包括拉取镜像、启动容器以及设置访问。接着，文章展示了在Java应用中如何集成和配置MinIO，包括导入依赖、配置YML文件、创建配置类和工具类，以及文件上传的方法。
摘要由CSDN通过智能技术生成

文章目录

一、Docker安装MinIO

1.拉取镜像

执行命令：

docker pull minio/minio

如果拉取不到就给docker配阿里云镜像，配置命令一条一条执行

2.启动镜像

执行命令：

docker run --name minio \
-p 9000:9000 \
-p 9001:9001 \
-d --restart=always \
-e "MINIO_ROOT_USER=admin" \
-e "MINIO_ROOT_PASSWORD=admin123" \
-v /HuanJin/minio/data:/data \
-v /HuanJin/minio/config:/root/.minio \
minio/minio server /data \
--console-address '0.0.0.0:9001'

-p 9000:9000 可视化界面端口
-p 9001:9001 API端口
-e “MINIO_ROOT_USER=admin” 可视化界面账号
-e “MINIO_ROOT_PASSWORD=admin123” 可视化界面密码

3.访问

ip:9000

登录成功后：
在这里插入图片描述

二、Java中使用

1.导包

minio的包

        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.2.1</version>
        </dependency>

2.配置yml

# minio配置
minio:
  endpoint: http://xxx:9000  #地址
  fileHost: http://xxx:9000
  accessKey: admin  #账号
  secretKey: admin123  #密码
  secure: false  #如果是true，则用的是https而不是http,默认值是true
  bucketName: "xxx"  #存储桶
  imgSize: 1024         # 图片大小限制，单位：m
  fileSize: 1024        # 文件大小限制，单位：m

3.MinioConfig 配置类：

import lombok.Data;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
@Data
public class MinIOConfig {

    @Value("${minio.endpoint}")
    private String endpoint;
    @Value("${minio.fileHost}")
    private String fileHost;
    @Value("${minio.bucketName}")
    private String bucketName;
    @Value("${minio.accessKey}")
    private String accessKey;
    @Value("${minio.secretKey}")
    private String secretKey;

    @Value("${minio.imgSize}")
    private Integer imgSize;
    @Value("${minio.fileSize}")
    private Integer fileSize;

    @Bean
    public MinIOUtils creatMinioClient() {
        return new MinIOUtils(endpoint, bucketName, accessKey, secretKey, imgSize, fileSize);
    }
}

4.MinioComponent 工具类

import io.minio.*;
import io.minio.http.Method;
import io.minio.messages.Bucket;
import io.minio.messages.DeleteObject;
import io.minio.messages.Item;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.multipart.MultipartFile;

import java.io.ByteArrayInputStream;
import java.io.InputStream;
import java.io.UnsupportedEncodingException;
import java.net.URLDecoder;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
import java.util.Optional;

/**
 * MinIO工具类
 */
@Slf4j
public class MinIOUtils {

    private static MinioClient minioClient;

    private static String endpoint;
    private static String bucketName;
    private static String accessKey;
    private static String secretKey;
    private static Integer imgSize;
    private static Integer fileSize;


    private static final String SEPARATOR = "/";

    public MinIOUtils() {
    }

    public MinIOUtils(String endpoint, String bucketName, String accessKey, String secretKey, Integer imgSize, Integer fileSize) {
        MinIOUtils.endpoint = endpoint;
        MinIOUtils.bucketName = bucketName;
        MinIOUtils.accessKey = accessKey;
        MinIOUtils.secretKey = secretKey;
        MinIOUtils.imgSize = imgSize;
        MinIOUtils.fileSize = fileSize;
        createMinioClient();
    }

    /**
     * 创建基于Java端的MinioClient
     */
    public void createMinioClient() {
        try {
            if (null == minioClient) {
                log.info("开始创建 MinioClient...");
                minioClient = MinioClient
                                .builder()
                                .endpoint(endpoint)
                                .credentials(accessKey, secretKey)
                                .build();
                createBucket(bucketName);
                log.info("创建完毕 MinioClient...");
            }
        } catch (Exception e) {
            log.error("MinIO服务器异常：{}", e);
        }
    }

    /**
     * 获取上传文件前缀路径
     * @return
     */
    public static String getBasisUrl() {
        return endpoint + SEPARATOR + bucketName + SEPARATOR;
    }

    /******************************  Operate Bucket Start  ******************************/

    /**
     * 启动SpringBoot容器的时候初始化Bucket
     * 如果没有Bucket则创建
     * @throws Exception
     */
    private static void createBucket(String bucketName) throws Exception {
        if (!bucketExists(bucketName)) {
            minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
        }
    }

    /**
     *  判断Bucket是否存在，true：存在，false：不存在
     * @return
     * @throws Exception
     */
    public static boolean bucketExists(String bucketName) throws Exception {
        return minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
    }


    /**
     * 获得Bucket的策略
     * @param bucketName
     * @return
     * @throws Exception
     */
    public static String getBucketPolicy(String bucketName) throws Exception {
        String bucketPolicy = minioClient
                                .getBucketPolicy(
                                        GetBucketPolicyArgs
                                                .builder()
                                                .bucket(bucketName)
                                                .build()
                                );
        return bucketPolicy;
    }


    /**
     * 获得所有Bucket列表
     * @return
     * @throws Exception
     */
    public static List<Bucket> getAllBuckets() throws Exception {
        return minioClient.listBuckets();
    }

    /**
     * 根据bucketName获取其相关信息
     * @param bucketName
     * @return
     * @throws Exception
     */
    public static Optional<Bucket> getBucket(String bucketName) throws Exception {
        return getAllBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst();
    }

    /**
     * 根据bucketName删除Bucket，true：删除成功； false：删除失败，文件或已不存在
     * @param bucketName
     * @throws Exception
     */
    public static void removeBucket(String bucketName) throws Exception {
        minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build());
    }

    /******************************  Operate Bucket End  ******************************/


    /******************************  Operate Files Start  ******************************/

    /**
     * 判断文件是否存在
     * @param bucketName 存储桶
     * @param objectName 文件名
     * @return
     */
    public static boolean isObjectExist(String bucketName, String objectName) {
        boolean exist = true;
        try {
            minioClient.statObject(StatObjectArgs.builder().bucket(bucketName).object(objectName).build());
        } catch (Exception e) {
            exist = false;
        }
        return exist;
    }

    /**
     * 判断文件夹是否存在
     * @param bucketName 存储桶
     * @param objectName 文件夹名称
     * @return
     */
    public static boolean isFolderExist(String bucketName, String objectName) {
        boolean exist = false;
        try {
            Iterable<Result<Item>> results = minioClient.listObjects(
                    ListObjectsArgs.builder().bucket(bucketName).prefix(objectName).recursive(false).build());
            for (Result<Item> result : results) {
                Item item = result.get();
                if (item.isDir() && objectName.equals(item.objectName())) {
                    exist = true;
                }
            }
        } catch (Exception e) {
            exist = false;
        }
        return exist;
    }

    /**
     * 根据文件前缀查询文件
     * @param bucketName 存储桶
     * @param prefix 前缀
     * @param recursive 是否使用递归查询
     * @return MinioItem 列表
     * @throws Exception
     */
    public static List<Item> getAllObjectsByPrefix(String bucketName,
                                                   String prefix,
                                                   boolean recursive) throws Exception {
        List<Item> list = new ArrayList<>();
        Iterable<Result<Item>> objectsIterator = minioClient.listObjects(
                ListObjectsArgs.builder().bucket(bucketName).prefix(prefix).recursive(recursive).build());
        if (objectsIterator != null) {
            for (Result<Item> o : objectsIterator) {
                Item item = o.get();
                list.add(item);
            }
        }
        return list;
    }

    /**
     * 获取文件流
     * @param bucketName 存储桶
     * @param objectName 文件名
     * @return 二进制流
     */
    public static InputStream getObject(String bucketName, String objectName) throws Exception {
        return minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(objectName).build());
    }

    /**
     * 断点下载
     * @param bucketName 存储桶
     * @param objectName 文件名称
     * @param offset 起始字节的位置
     * @param length 要读取的长度
     * @return 二进制流
     */
    public InputStream getObject(String bucketName, String objectName, long offset, long length)throws Exception {
        return minioClient.getObject(
                GetObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .offset(offset)
                        .length(length)
                        .build());
    }

    /**
     * 获取路径下文件列表
     * @param bucketName 存储桶
     * @param prefix 文件名称
     * @param recursive 是否递归查找，false：模拟文件夹结构查找
     * @return 二进制流
     */
    public static Iterable<Result<Item>> listObjects(String bucketName, String prefix,
                                                     boolean recursive) {
        return minioClient.listObjects(
                ListObjectsArgs.builder()
                        .bucket(bucketName)
                        .prefix(prefix)
                        .recursive(recursive)
                        .build());
    }

    /**
     * 使用MultipartFile进行文件上传
     * @param bucketName 存储桶
     * @param file 文件名
     * @param objectName 对象名
     * @param contentType 类型
     * @return
     * @throws Exception
     */
    public static ObjectWriteResponse uploadFile(String bucketName, MultipartFile file,
                                                String objectName, String contentType) throws Exception {
        InputStream inputStream = file.getInputStream();
        return minioClient.putObject(
                PutObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .contentType(contentType)
                        .stream(inputStream, inputStream.available(), -1)
                        .build());
    }

    /**
     * 上传本地文件
     * @param bucketName 存储桶
     * @param objectName 对象名称
     * @param fileName 本地文件路径
     */
    public static ObjectWriteResponse uploadFile(String bucketName, String objectName,
                                                String fileName) throws Exception {
        return minioClient.uploadObject(
                UploadObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .filename(fileName)
                        .build());
    }

    /**
     * 通过流上传文件
     *
     * @param bucketName 存储桶
     * @param objectName 文件对象
     * @param inputStream 文件流
     */
    public static ObjectWriteResponse uploadFile(String bucketName, String objectName, InputStream inputStream) throws Exception {
        return minioClient.putObject(
                PutObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .stream(inputStream, inputStream.available(), -1)
                        .build());
    }

    /**
     * 创建文件夹或目录
     * @param bucketName 存储桶
     * @param objectName 目录路径
     */
    public static ObjectWriteResponse createDir(String bucketName, String objectName) throws Exception {
        return minioClient.putObject(
                PutObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .stream(new ByteArrayInputStream(new byte[]{}), 0, -1)
                        .build());
    }

    /**
     * 获取文件信息, 如果抛出异常则说明文件不存在
     *
     * @param bucketName 存储桶
     * @param objectName 文件名称
     */
    public static String getFileStatusInfo(String bucketName, String objectName) throws Exception {
        return minioClient.statObject(
                StatObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .build()).toString();
    }

    /**
     * 拷贝文件
     *
     * @param bucketName 存储桶
     * @param objectName 文件名
     * @param srcBucketName 目标存储桶
     * @param srcObjectName 目标文件名
     */
    public static ObjectWriteResponse copyFile(String bucketName, String objectName,
                                                 String srcBucketName, String srcObjectName) throws Exception {
        return minioClient.copyObject(
                CopyObjectArgs.builder()
                        .source(CopySource.builder().bucket(bucketName).object(objectName).build())
                        .bucket(srcBucketName)
                        .object(srcObjectName)
                        .build());
    }

    /**
     * 删除文件
     * @param bucketName 存储桶
     * @param objectName 文件名称
     */
    public static void removeFile(String bucketName, String objectName) throws Exception {
        minioClient.removeObject(
                RemoveObjectArgs.builder()
                        .bucket(bucketName)
                        .object(objectName)
                        .build());
    }

    /**
     * 批量删除文件
     * @param bucketName 存储桶
     * @param keys 需要删除的文件列表
     * @return
     */
    public static void removeFiles(String bucketName, List<String> keys) {
        List<DeleteObject> objects = new LinkedList<>();
        keys.forEach(s -> {
            objects.add(new DeleteObject(s));
            try {
                removeFile(bucketName, s);
            } catch (Exception e) {
                log.error("批量删除失败！error:{}",e);
            }
        });
    }

    /**
     * 获取文件外链
     * @param bucketName 存储桶
     * @param objectName 文件名
     * @param expires 过期时间 <=7 秒 （外链有效时间（单位：秒））
     * @return url
     * @throws Exception
     */
    public static String getPresignedObjectUrl(String bucketName, String objectName, Integer expires) throws Exception {
        GetPresignedObjectUrlArgs args = GetPresignedObjectUrlArgs.builder().expiry(expires).bucket(bucketName).object(objectName).build();
        return minioClient.getPresignedObjectUrl(args);
    }

    /**
     * 获得文件外链
     * @param bucketName
     * @param objectName
     * @return url
     * @throws Exception
     */
    public static String getPresignedObjectUrl(String bucketName, String objectName) throws Exception {
        GetPresignedObjectUrlArgs args = GetPresignedObjectUrlArgs.builder()
                                                                    .bucket(bucketName)
                                                                    .object(objectName)
                                                                    .method(Method.GET).build();
        return minioClient.getPresignedObjectUrl(args);
    }

    /**
     * 将URLDecoder编码转成UTF8
     * @param str
     * @return
     * @throws UnsupportedEncodingException
     */
    public static String getUtf8ByURLDecoder(String str) throws UnsupportedEncodingException {
        String url = str.replaceAll("%(?![0-9a-fA-F]{2})", "%25");
        return URLDecoder.decode(url, "UTF-8");
    }
    /******************************  Operate Files End  ******************************/
}

5.使用

import com.qinxuan.connom.minio.MinIOConfig;
import com.qinxuan.connom.minio.MinIOUtils;
import io.swagger.annotations.Api;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;


@Api(tags = "短信接口模块")
@RestController
public class TextController {

    @Autowired
    private MinIOConfig minIOConfig;

    @PostMapping("/upload")
    public String upload(MultipartFile file) throws Exception {
        String fileName = file.getOriginalFilename();
        MinIOUtils.uploadFile(minIOConfig.getBucketName(),fileName,file.getInputStream());
        return minIOConfig.getEndpoint()+"/"+minIOConfig.getBucketName()+"/"+fileName;
    }
}
吾听安
关注
分布式文件存储系统MinIO入门教程
Amy的博客
01-05 7416
..
分布式文件系统使用——MinIO
weixin_45565886的博客
02-15 3684
分布式文件系统使用——MinIO
Minio实现分布式存储
Leighteen
09-13 1521
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。MinIO是高性能对象存储，什么是对象存储（Object Storage Service）,对象存储是支持海量用户远程访问的无限容量廉价存储系统，既然是存储系统。
minio简单使用
最新发布
onePlus5T的博客
10-09 2017
minio的简单介绍及使用示例
17. MinIO 分布式文件存储
小虎哥的技术博客
10-07 727
通过Spring Boot集成Minio，我们可以在应用程序中方便地使用Minio的功能，Spring Boot集成Minio可以帮助我们更轻松地开发和管理云存储解决方案。
Minio分布式存储入门（使用新版本）
qq_46624276的博客
09-05 2882
MinlO使用纠删码机制来保证高可靠性，使用highwayhash来处理数据损坏（ Bit Rot Protection )。关于纠删码简单来说就是可以通过数学计算，把丢失的数据进行还原，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。8个文件存在于八个driver，4个为存放校验码，4个存放数据，可以通过纠错码进行恢复。集群部署完成可以通过nginx负载均衡，让集群有一个统一的入口。
分布式对象存储minio
JineD的博客
07-15 7624
二是恢复还原，通过对数据结合校验码，通过数学计算，还原丢失或损坏的数据，可以在保证数据可靠的前提下，降低冗余，如单机硬盘存储中的 RAID技术，纠删码（Erasure Code）技术等。MinIO 采用的就是纠删码技术。冗余法最简单直接，即对存储的数据进行副本备份，当数据出现丢失，损坏，即可使用备份内容进行恢复，而副本备份的多少，决定了数据可靠性的高低。关于纠删码，简单来说就是可以通过数学计算，把丢失的数据进行还原，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。
minio使用方法
认真学习Java
12-08 941
MinIO 是一种高性能、S3 兼容的对象存储。它专为大规模 AI/ML、数据湖和数据库工作负载而构建，并且它是由软件定义的存储。不需要购买任何专有硬件，就可以在云上和普通硬件上拥有分布式对象存储。MinIO拥有开源 GNU AGPL v3 和商业企业许可证的双重许可。简单简单性是百万兆次级数据基础设施的基础 - 无论是在技术上还是在操作上。MinIO使用和部署非常简单，没有其他对象存储可以让您在最快的时间内实现下载到生产环境的部署。高性能MinIO 是世界上最快的对象存储，没有之一。
MinIO的使用
weixin_48692396的博客
02-27 8045
MinIO概述官网地址：https://minio.org.cnMinIO是一款基于Apache License v2.0开源协议的分布式文件系统（或者叫对象存储服务），可以做为云存储的解决方案用来保存海量的图片、视频、文档等。由于采用Golang实现，服务端可以工作在Windows、Linux、 OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令就可以运行起来。
minio的使用
weixin_42715225的博客
02-24 1977
前言 MinIO 是软件定义的高性能对象存储，为机器学习、分析和应用程序数据工作负载构建高性能基础架构 试用 通过官方提供的网址，进行场景试用 网址：https://play.min.io:9443/ 账密： # 访问https://dl.minio.io/client/mc/release/windows-amd64/mc.exe下载到win10指定目录下，并到其目录下打开终端，执行如下命令 PS D:\work> D:\Download\XunLei\mc.exe alias list play
MinIO的简单使用
liu4461431的博客
06-01 1万+
MinIO的简单使用
Minio：Java Client 快速入门指南和API参考文档
02-18
个人导出这两部分，方便平时查看使用。官方文档地址：https://docs.minio.io/。官方有中文翻译，在左上角可以切换
MinIo简单使用
热门推荐
six_teen的博客
05-23 1万+
对于项目的文件存储可以使用像阿里云、腾讯云这种平台的服务，当然也可以自己搭建一个文件管理系统。这里简单介绍一下MinIo 官网地址: http://www.minio.org.cn/ 先根据官网地址进行下载MinIo的server端和client端，这里需要注意一点的是，在官网给的下载地址：http://dl.minio.org.cn/server/minio/release/windows-amd64/minio.exe https://dl.minio.org.cn/client/mc/release/
MinIO基本用法
Dxy1239310216的博客
08-18 911
MinIO是一个高性能的分布式对象存储服务，专为大规模数据存储而设计。它采用微服务架构，每个节点都是一个独立的服务，可以通过简单的命令行或API接口进行管理。MinIO不仅支持标准的RESTful API，还完全兼容Amazon S3，这意味着你可以使用任何S3兼容的工具或库来操作MinIO。MinIO作为一个高性能、分布式的对象存储系统，凭借其开源、易用和与Amazon S3兼容的特性，成为了云存储和大数据领域的重要选择。通过本文，您应该已经了解了MinIO的基本用法，包括安装、配置和使用等基本步骤。
MinIO简易教程
A121212789的博客
04-13 4712
创建的桶默认的权限时private私有的，外部不能访问，你可以修改桶的属性，点击manage，找到Access Policy，修改权限为public即可。b，在usr/local下创建minio文件夹，并在minio文件里面创建bin和data目录，把下载好的minio文件拷贝到bin目录里面。Minio 是个基于 Golang 编写的开源对象存储服务，存储非结构化数据，如：图片，视频，音乐等。对于中小型企业，如果不选择存储上云，那么 Minio 是个不错的选择，麻雀虽小，五脏俱全。
MinIO使用基础教程
qq_40623672的博客
07-23 1万+
一款开源、强大的云存储工具MinIO使用教程
如何使用Minio进行对象存储和数据管理
小易
07-14 3948
Minio是一个开源的对象存储服务器，旨在为云应用程序和基于容器的环境提供高性能、可扩展的存储解决方案。Minio支持Amazon S3 API，因此可以轻松地与现有的S3应用程序集成，并且可用于存储和管理各种类型的数据，包括图像、视频、文档等等。Minio还提供了一些高级功能，如分布式模式、负载均衡和安全加密，以及一个强大的命令行工具集Minio客户端（mc），可帮助您更好地管理和控制您的数据。
Minio入门教学
Gufang617的博客
08-17 5359
Minio文件存储系统入门级
minio分布式搭建_分布式存储Minio集群环境搭建
05-30
以下是搭建Minio分布式存储集群的步骤： 1. 下载Minio二进制文件 首先，你需要下载Minio二进制文件。你可以从Minio官方网站下载适用于你的操作系统的最新版本。 2. 创建配置文件 在每个Minio服务器上，你需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值