《企业实战分享 · 对象存储服务OSS、S3、MinIO》

最新推荐文章于 2024-09-23 17:56:59 发布
最新推荐文章于 2024-09-23 17:56:59 发布
阅读量1.4k 收藏 11
点赞数 39
分类专栏： 企业实战分享 文章标签： java oss s3 minio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/syb513812/article/details/140148259
版权

📢 大家好，我是 【战神刘玉栋】，有10多年的研发经验，致力于前后端技术栈的知识沉淀和传播。 💗
🌻 CSDN入驻一周，希望大家多多支持，后续会继续提升文章质量，绝不滥竽充数，如需交流，欢迎留言评论。👍

文章目录

写在前面的话

对象存储服务（Object Storage Service, OSS），是一种云存储解决方案，专门用于存储和管理大量的非结构化数据，如图片、视频、日志文件等。在企业实战开发中运用范围较为广泛，当数据存储的需求量较大时，可以用来替换传统的FTP技术方案，此时，使用OSS更为合适。
本篇文章介绍一下Java如何操作常用的对象存储服务，包含阿里云OSS、亚马逊S3，Minio。

Java 操作阿里云 OSS

前置准备

阿里云平台添加对象存储OSS服务，创建一个Bucket，相关信息后续程序操作需要用到。
image.png

代码操作

Step1、添加Maven依赖

<!-- 阿里的oss -->
<dependency>
    <groupId>com.aliyun.oss</groupId>
    <artifactId>aliyun-sdk-oss</artifactId>
    <version>3.15.1</version>
</dependency>

Step2、添加Yml配置

ali:
  oss:
    # 阿里云账户的accessKeyId
    accessKeyId: LTAIaP4LbPNVGoPy
    # 阿里云账户的accessKeySecret
    accessKeySecret: sebe63FjqLEGEpXyYAOtR2gZN4Xa3K
    # 阿里云账户的endpoint，地域
    endPoint: oss-cn-shenzhen.aliyuncs.com
    # 阿里云账户的bucketName
    bucketName: photo-admin
    # 最终文件访问的路径
    fileHost: https://photo-admin.oss-cn-shenzhen.aliyuncs.com/

Step3、添加对应的配置类

@Component
@ConfigurationProperties(prefix = "ali.oss")
@Data
public class AliOSSProperties {

    private String accessKeyId;

    private String accessKeySecret;

    private String endPoint;

    private String bucketName;

    private String fileHost;
}

Step4、编写工具类

public class AliOSSUtil {

    private static final String CATALOG = "mzxiao/";

    public static String upload(File file) {
        if (file == null) {
            return null;
        }
        AliOSSProperties properties = SpringContextHolder.getBean(AliOSSProperties.class);
        // 创建OSS客户端
        OSSClient ossClient = new OSSClient(properties.getEndPoint(), properties.getAccessKeyId(), properties.getAccessKeySecret());
        try {
            // 判断文件容器是否存在，不存在则创建
            if (!ossClient.doesBucketExist(properties.getBucketName())) {
                ossClient.createBucket(properties.getBucketName());
                CreateBucketRequest createBucketRequest = new CreateBucketRequest(properties.getBucketName());
                createBucketRequest.setCannedACL(CannedAccessControlList.PublicRead);
                ossClient.createBucket(createBucketRequest);
            }
            // 创建文件路径
            String fileUrl = CATALOG + DateUtils.toShortStringFormat(new Date()) + "/" + IdUtils.uuid(false);

            // 创建上传文件的元信息，可以通过文件元信息设置HTTP header。
            ObjectMetadata meta = new ObjectMetadata();

            // 上传文件
            PutObjectResult result = ossClient.putObject(new PutObjectRequest(properties.getBucketName(), fileUrl, file, meta));
            if (null != result) {
                return properties.getFileHost() + fileUrl;
            }
        } catch (OSSException oe) {
            log.error(oe.getMessage());
        } finally {
            // 关闭OSS服务，一定要关闭
            ossClient.shutdown();
        }
        return null;
    }
}

Step5、操作示例

//省略文件上传接口代码
AliOSSUtil.upload(newFile)

Step6、查看上传结果
image.png

Java 操作亚马逊 S3

前置准备

由于工作需要，服务偶尔也部署在亚马逊，因此顺道封装了对亚马逊的对象存储服务的集成。
亚马逊云平台也提供了OSS服务，但名字是叫S3，对标阿里云的OSS，基本概念和代码操作也类似OSS。
首先，也是先到亚马逊开通S3服务，一系列操作，此处省略一万字。

代码操作

Step1、添加Maven依赖

<!-- AWS SDK start -->
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-s3</artifactId>
    <version>1.11.803</version>
</dependency>
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-sts</artifactId>
    <version>1.11.803</version>
</dependency>
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-core</artifactId>
    <version>1.11.803</version>
</dependency>
<!-- AWS SDK end -->

Step2、添加Yml配置

aws:
  s3:
    endpoint: 同阿里云
    access-key-id: 同阿里云
    access-key-secret: 同阿里云
    bucket-name: 存储桶明朝
    root-directory: 根目录
    region: 区域
    url: 文件访问地址

Step3、编写工具类

@Component
@Slf4j
public class S3ObjectStorage extends BaseObjectStorage {

    @Data
    @Component
    @ConfigurationProperties(prefix = "aws.s3")
    public static class OssInfo {
        private String host;
        private String endpoint;
        private String accessKeyId;
        private String accessKeySecret;
        private String bucketName;
        private String rootDirectory;
        private String stsEndpoint;
        private String region;
        private String url;
    }

    @Autowired
    private OssInfo ossInfo;

    @Override
    public String upload(String pathAndName, File file) {
        String result = "";
        AWSStaticCredentialsProvider credential = new AWSStaticCredentialsProvider(new BasicAWSCredentials(ossInfo.accessKeyId, ossInfo.accessKeySecret));
        EndpointConfiguration endpointConfiguration = new EndpointConfiguration(ossInfo.endpoint, null);
        AmazonS3 s3 = AmazonS3ClientBuilder.standard()
                .withCredentials(credential)
                .withEndpointConfiguration(endpointConfiguration)
                .build();
        try {
            String bucketPath = ossInfo.bucketName + "/" + ossInfo.rootDirectory;
            s3.putObject(new PutObjectRequest(bucketPath, pathAndName, file).withCannedAcl(CannedAccessControlList.PublicRead));
            result = ossInfo.url + ossInfo.rootDirectory + "/" + pathAndName;
            log.info("===s3===上传文件记录：成功");
        } catch (AmazonServiceException ase) {
            log.error("===s3===文件上传服务端异常:", ase);
        } catch (AmazonClientException ace) {
            log.error("===s3===文件上传客户端异常:", ace);
        } finally {
            s3.shutdown();
        }
        return result;
    }

    @Override
    public String authorize(String pathAndName, long time) {
        AWSStaticCredentialsProvider credential = new AWSStaticCredentialsProvider(new BasicAWSCredentials(ossInfo.accessKeyId, ossInfo.accessKeySecret));
        EndpointConfiguration endpointConfiguration = new EndpointConfiguration(ossInfo.endpoint, null);
        AmazonS3 s3 = AmazonS3ClientBuilder.standard()
                .withCredentials(credential)
                .withEndpointConfiguration(endpointConfiguration)
                .build();
        try {
            Date expiration = new Date(System.currentTimeMillis() + time);
            URL url = s3.generatePresignedUrl(ossInfo.bucketName, ossInfo.rootDirectory + "/" + pathAndName, expiration);
            String resultUrl = url.toString();
            log.info("===s3===文件上传客户端返回url：{}", resultUrl);
            resultUrl = resultUrl.substring(0, resultUrl.indexOf("?"));
            resultUrl = resultUrl.replaceAll(ossInfo.host, ossInfo.endpoint);
            log.info("===s3===文件上传客户端返回url：{}", resultUrl);
            return resultUrl;
        } finally {
            s3.shutdown();
        }
    }

    @Override
    public String authorizeAllName(String pathAndName, long time) {
        AWSStaticCredentialsProvider credential = new AWSStaticCredentialsProvider(new BasicAWSCredentials(ossInfo.accessKeyId, ossInfo.accessKeySecret));
        EndpointConfiguration endpointConfiguration = new EndpointConfiguration(ossInfo.endpoint, null);
        AmazonS3 s3 = AmazonS3ClientBuilder.standard()
                .withCredentials(credential)
                .withEndpointConfiguration(endpointConfiguration)
                .build();
        try {
            Date expiration = new Date(System.currentTimeMillis() + time);
            URL url = s3.generatePresignedUrl(ossInfo.bucketName, pathAndName, expiration);
            String resultUrl = url.toString();
            resultUrl = resultUrl.replaceAll(ossInfo.host, ossInfo.endpoint);
            log.info("===s3==========authorizeAllName，S3文件上传客户端返回url：{}", resultUrl);
            return resultUrl;
        } finally {
            s3.shutdown();
        }
    }

    @Override
    public Map<String, Object> tokens(String dir) {
        Map<String, Object> result = null;
        AWSSecurityTokenService stsClient = null;
        try {
            result = Maps.newHashMap();
            AWSStaticCredentialsProvider credential = new AWSStaticCredentialsProvider(new BasicAWSCredentials(ossInfo.accessKeyId, ossInfo.accessKeySecret));
            EndpointConfiguration endpointConfiguration = new EndpointConfiguration(ossInfo.stsEndpoint, null);
            stsClient = AWSSecurityTokenServiceAsyncClientBuilder.standard()
                    .withCredentials(credential)
                    .withEndpointConfiguration(endpointConfiguration)
                    .build();
            GetFederationTokenRequest request = new GetFederationTokenRequest().withName("Bob")
                    .withPolicy("{\"Version\":\"2012-10-17\",\"Statement\":[{\"Sid\":\"Sid1\",\"Effect\":\"Allow\",\"Action\":[\"s3:*\"],\"Resource\":[\"*\"]}]}")
                    .withDurationSeconds(3600);
            GetFederationTokenResult response = stsClient.getFederationToken(request);
            Credentials tempCredentials = response.getCredentials();

            result.put("storeType", "s3");
            result.put("accessKeyId", tempCredentials.getAccessKeyId());
            result.put("sessionToken", tempCredentials.getSessionToken());
            result.put("secretKey", tempCredentials.getSecretAccessKey());
            result.put("expire", tempCredentials.getExpiration());
            result.put("dir", dir);
            result.put("bucketName", ossInfo.bucketName);
            result.put("region", ossInfo.region);
            result.put("host", "https://" + ossInfo.endpoint + "/" + ossInfo.bucketName);
            log.info("===s3===上传文件记录：accessKeyId：{}，sessionToken：{}", tempCredentials.getAccessKeyId(), tempCredentials.getSessionToken());
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (null != stsClient) {
                stsClient.shutdown();
            }
        }
        return result;
    }

    @Override
    public void deleteFile(String pathAndName) {
        AWSStaticCredentialsProvider credential = new AWSStaticCredentialsProvider(new BasicAWSCredentials(ossInfo.accessKeyId, ossInfo.accessKeySecret));
        EndpointConfiguration endpointConfiguration = new EndpointConfiguration(ossInfo.endpoint, null);
        AmazonS3 s3 = AmazonS3ClientBuilder.standard()
                .withCredentials(credential)
                .withEndpointConfiguration(endpointConfiguration)
                .build();
        try {
            s3.deleteObject(ossInfo.bucketName, ossInfo.bucketName + pathAndName);
        } finally {
            s3.shutdown();
        }
    }
}

Step4、操作示例
如果同一套代码同时需要集成多种对象存储服务，可以改造策略模式，下方先用if-else演示效果。

if ("aws".equals(flag)) {
    // 上传到亚马逊
    String fileType = fileName.substring(fileName.lastIndexOf("."));
    files.add(baseObjectStorage.upload(IdUtils.uuid() + fileType, newFile));
} else if ("oss".equals(flag)) {
    // 上传到阿里云固定目录
    files.add(AliOSSUtil.upload(newFile));
} else {
    // 其他文件上传逻辑
}

Step5、补充说明
亚马逊S3用法基本和阿里云类似，没什么好说的。
但较复杂的就是其存储桶配置，很多坑，后续再展开介绍。

Java 操作 Minio

前置准备

阿里云 OSS、亚马逊 S3 和 MinIO 都是对象存储系统，它们的基本作用相似，即存储和管理大量非结构化数据，如文件、图片、视频等。不过，它们在提供商、部署方式、特性和适用场景上有所不同。
主要区别如下：

  • OSS 和 S3 由各自的云服务提供商（阿里云和 AWS）提供，MinIO 是一个开源项目。
  • OSS 和 S3 适合希望利用云服务生态系统的用户， MinIO 适合需要自托管、高性能或数据隐私和合规性的用户。

选择哪种对象存储解决方案，取决于用户的具体需求、技术栈、预算和对数据管理的偏好。
上面都是官方套话，简单说明一下：OSS和S3是一个类型的东西，而MinIO是可以独立部署在私人服务器，保密性更好。

技术简介

MinIO 基于 Apache License v2.0开 源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。MinIO 兼容亚马逊 S3 云存储服务接口，非常适合于存储大容量非结构化的数据。
MinIO 是一个分布式对象存储系统，设计用于高性能和高可用性的大规模数据存储，而 FTP 主要用于文件传输，适合小规模、简单的文件存储和传输需求。两者在数据存储模型、扩展性、冗余和安全性方面有显著差异。

实战做法

由于篇幅所限，这边不展开介绍 Minio 如何部署和编码，直接介绍其在企业实战开发中使用。

  • 首先，采用 MinIO 是为了替换原有 FTP 的文件存储方案；
  • 其次，单独部署 MinIO，再创建一个单独的 storage-service 服务，完成 MinIO的交互和各类辅助功能；
  • 最后，其他服务通过 Feign 的方式，和 storage-service 完成交互；

总结陈词

上文介绍了对象存储服务的用法，仅供参考。
关于 MinIO 的具体实现细节，后面另外开一篇介绍。
值得一提的是，如果您的框架要集成多种对象存储服务，那应该考虑如何统一出入口，使用策略模式等方式改造，而不应该都是单独的工具类。

💗 后续会逐步分享企业实际开发中的实战经验，有需要交流的可以联系博主。

战神刘玉栋
关注
专栏目录
S3协议分片上传(minio)
学海无涯,我用JAVA
08-27 354
目前文件存储一般采用obs存储,也就是对象存储比较流行的有: minio 阿里云 华为云 阿里云 腾讯云 七牛云 百度云 ,对于贫穷的我来说,当然选择免费开源的minio了,但是他们有一个统一的标准也就是S3协议,相当于jdbc标准协议一样,你只要熟悉了S3协议,那么几乎所有的对象存储几乎就是一致了.这里讨论分片上传创建一个分片上传的任务,会返回一个唯一任务id,这个任务id很重要根据任务id,和要分片的数量,获取上传分片的地址,每个分片对应一个上传地址。
文件对象管理器（集成MinIO、阿里云OSS基本操作及临时token获取）
04-05
文件对象存储（Object Storage Service，简称OSS），是云服务的一种，主要负责存储非结构化的数据，如文本、图片、音频、视频等。在IT领域，文件对象管理器是用于管理和操作这些对象的关键工具。本话题将聚焦于集成...
2、使用S3协议访问OSS
Salted fish in hand, I have the world.
07-26 3851
例如，已通过RAMPolicy或者BucketPolicy将Bucket内的所有Object或者与指定Prefix匹配的Object的访问权限设置为私有，但是考虑到您需要将其中某个Object开放给所有互联网匿名用户访问，则选择ObjectACL，并将ACL设置为public-read。文档地址https//docs.aws.amazon.com/zh_cn/sdk-for-go/?github地址https//github.com/aws/aws-sdk-go。............
OSS对象资源管理，阿里云OSS对象存储的使用
zhzjn的博客
09-23 1687
OSS 是“Object Storage Service”的缩写，中文常称为“对象存储服务”。OSS 是一种互联网云存储服务，主要用于海量数据的存储与管理。相较于，OSS更灵活，不用将文件存储于本地磁盘或服务器中，并且可以实现文件共享，它通过简单的RESTful接口提供高可用、高可靠、安全、低成本的数据存储能力，支持多种数据的存储需求，如图片、视频、音频文件以及各类文档等，在当今市场上应用广泛。
MinIO、FastDFS和Amazon S3
weixin_51473488的博客
06-27 5335
FastDFS由一个跟踪器（tracker）和多个存储节点（storage node）组成，其中跟踪器用于管理文件的元数据，存储节点用于实际存储文件数据。MinIO对于小型和中型规模的存储需求是一个理想的选择，特别是在需要构建私有云存储环境或本地对象存储解决方案的情况下。S3具有高可靠性、持久性和可扩展性，通过多个数据中心和多个副本实现数据的备份和冗余存储，确保数据的高可用性和容错性。S3是一个全功能的对象存储服务，具有高可靠性和可扩展性，适用于云环境和大规模数据存储需求。
存储相关基本知识：oss\s3\文件存储\块存储\
尚墨1111的博客
07-10 1830
存储基本知识
OSS对象存储
Ravenich的博客
04-17 2936
OSS对象存储
rocketmq_oss_minio_7.0.2.rar
10-01
java实现生产并消费rocketmq数据并将数据上传到存储服务器上 源码。 下载该项目可以学到 rocketmq 生产和消费数据。 上传数据到阿里云oss 和本地minio上 minio版本用的是8.3.0
rocketmq_oss_minio_8.3.0.rar
09-30
java实现生产并消费rocketmq数据并将数据上传到存储服务器上 源码。 下载该项目可以学到 rocketmq 生产和消费数据。 上传数据到阿里云oss 和本地minio上 minio版本用的是8.3.0
阿里云ossjava源码-WF-minio:野火对象存储服务
06-06
野火Minio是基于最流行的开源对象存储服务进行二次开发的，二次开发的内容仅涉及到与野火IM的对接。因此野火Minio可以按照原生Minio的使用和运维。但也有一些细微细节不同。首次部署需要进行配置，以后可以正常启动...
大规模对象存储服务OSS的AIGC智能运维技术应用与效能提升
最新发布
10-24
内容概要：文章由阿里巴巴高级技术专家、对象存储服务负责人撰写，讨论了阿里云OSS面对巨量请求和多租户场景下的运营挑战，特别是达到极高可靠性的SLA所面临的困难以及AIGC如何赋能运维的实践。文中详细描述了AI技术...
Amazon S3 对象存储Java API操作记录（Minio与S3 SDK两种实现）
Gefangenes的博客
05-17 7141
按图中的模型，可简单理解为S3是由若干个桶（Bucket）组成，每个桶中包含若干个不同标识的对象（Object），还有就是统一的访问入口(RESTful API)，这样基本就足够了。如下图，我们可以把S3的存储空间想象成无限的，想存储一个任意格式的文件到S3服务中，只需要知道要把它放到哪个桶(Bucket)中，它的名字（Object Id）应该是什么。PS：客户现场部署的S3是浪潮公司提供的，如果现场遇到这个情况，就不要固执去找对方对线了，完全没用。最终换成了S3官方SDK可用了。
分布式对象存储服务器minio
ZhengXinMing1998的博客
08-18 6362
分布式存储服务器简单解释为将数据分布在多个存储型服务器上，并且这些分散的存储资源可以构成一个虚拟化的存储设备，但是现实是数据是分散存储在企业的各个角落。例如：您需要存储10PB的一个视频文件，但是您的个人电脑发生故障无法存储，需要存储在多个香港服务器上，每台香港服务器看作是一个datanode，在获取文件时，逐一去访问效率低。所以安排一个中间人来存放文件在哪台服务器的信息，通过这个中间的服务器信息更快找到文件。这个中间人称namenode，存储关于文件的信息称之为元数据。......
什么是OSS对象存储？
A_captain_608的博客
11-02 1万+
OSS对象存储，基本概念、使用特性与优缺点介绍
AWS-S3通用存储操作，操作minio、oss、cos等所有兼容s3协议的云存储（含有大文件分片上传实现）
热门推荐
流氓兔的博客
05-25 2万+
【代码】AWS-S3通用存储操作，操作minio、oss、cos等所有兼容s3协议的云存储（含有大文件分片上传实现）
轻量级 S3 协议存储客户端
zhangxin09的专栏
04-13 2562
目前大家一般不会把二进制文件直接放在应用服务器上，而是存在“对象存储”的方案中，例如亚马逊的 AWS，阿里云的 OSS、Cloudflare R2 等。AWS 是最早的始作俑者，因此其 S3 协议也近乎标准化，各大厂商的对象存储方案都实现该协议。基本上各家都有提供方便的 SDK 可以用快速调用 S3 服务，不过其中的原理并不是太复杂，笔者一时“手痒”就想打造自己的 S3 客户端。
java中如何使用，阿里云OSS对象存储服务
shixuyong的博客
02-07 3817
java中使用阿里云OSS对象存储服务
五分钟带你拥有一台自己的对象存储服务器
m0_57350631的博客
12-08 1516
MinIO（发音为"minnow"，意为小鱼）是一个开源的对象存储服务器，旨在提供高性能、可扩展和兼容S3（Amazon Simple Storage Service）协议的存储服务。MinIO允许用户通过HTTP协议存储和检索任意数量的数据，这些数据以对象的形式组织，并可通过唯一的键（object name）进行访问。
集成MinIO与阿里云OSS的文件对象管理系统
MinIO是一个高性能、分布式对象存储服务，兼容Amazon S3的API。它广泛应用于机器学习、数据分析、内容分发等场景。MinIO的特点是轻量级，部署方便，同时支持多种编程语言和平台。 #### MinIO的基本操作可能包括： -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

战神刘玉栋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值