对象存储之阿里云OSS最详细的实现

我是Feri

于 2024-10-09 17:08:20 发布

阅读量446

点赞数 23

分类专栏： Java笔记 14天从0到1，跟着Feri学Java 文章标签：数据库

本文链接：https://blog.csdn.net/xingfei_work/article/details/142791366

版权

Java笔记同时被 2 个专栏收录

26 篇文章 4 订阅

订阅专栏

14天从0到1，跟着Feri学Java

9 篇文章 0 订阅

订阅专栏

Hello，大家好，我是Feri，一枚十多年的程序员，同时也是一名在读研究生，关注我，且看一个平凡的程序员如何在自我成长，只为各位小伙伴提供编程相关干货知识，希望在自我蜕变的路上，我们一起努力，努力什么时候开始都不晚，我，从现在开始做起！

零、前言

我看有小伙伴私信我说，想要快速上手阿里云的OSS对象存储，那么安排，本篇教程就是手把手带你速度掌握阿里云的OSS，实现项目中的资源存储的问题，来，学起来！

一、OSS

1.1 OSS是什么

阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%(12个9)的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。

目前企业级开发，主流的资源存储解决方案，首选：云服务，阿里云-OSS、七牛云-KODO

对象存储 OSS_云存储服务_企业数据管理_存储-阿里云

1.2 OSS的存储类型

1.3 OSS的特点

提供99.9999999999%(12个9)的数据持久性，99.995%的数据可用性

1.4 OSS的应用场景

1.数据迁移

2.作为数据湖使用

3.数据存储和管理

4.数据处理平台

5.灾备与备份

1.5 OSS核心概念

1.5.1.存储空间（Bucket）

存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。

同一个存储空间的内部是扁平的，没有文件系统的目录等概念，所有的对象都直接隶属于其对应的存储空间。
每个用户可以拥有多个存储空间。
存储空间的名称在OSS范围内必须是全局唯一的，一旦创建之后无法修改名称。
存储空间内部的对象数目没有限制。

存储空间的命名规范如下：

只能包括小写字母、数字和短划线（-）。
必须以小写字母或者数字开头和结尾。
长度必须在3~63字符之间。

1.5.2 对象（Object）

对象是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，对象没有文件目录层级结构的关系。对象由元信息（Object Meta），用户数据（Data）和文件名（Key）组成，并且由存储空间内部唯一的Key来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，同时用户也可以在元信息中存储一些自定义的信息。

对象的生命周期是从上传成功到被删除为止。在整个生命周期内，除通过追加方式上传的Object可以通过继续追加上传写入数据外，其他方式上传的Object内容无法编辑，您可以通过重复上传同名的对象来覆盖之前的对象。

对象的命名规范如下：

使用UTF-8编码。
长度必须在1~1023字符之间。
不能以正斜线（/）或者反斜线（\）开头。

1.5.3 Region（地域）

Region表示OSS的数据中心所在物理位置。用户可以根据费用、请求来源等选择合适的地域创建Bucket。一般来说，距离用户更近的Region访问速度更快。

Region是在创建Bucket的时候指定的，一旦指定之后就不允许更改。该Bucket下所有的Object都存储在对应的数据中心，目前不支持Object级别的Region设置。

1.5.4 Endpoint（访问域名）

Endpoint表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务，当访问不同的Region的时候，需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint也是不同的。例如杭州Region的外网Endpoint是oss-cn-hangzhou.aliyuncs.com，内网Endpoint是oss-cn-hangzhou-internal.aliyuncs.com。

1.5.5 强一致性

Object操作在OSS上具有原子性，操作要么成功要么失败，不会存在有中间状态的Object。OSS保证用户一旦上传完成之后读到的Object是完整的，OSS不会返回给用户一个部分上传成功的Object。

Object操作在OSS同样具有强一致性，用户一旦收到了一个上传（PUT）成功的响应，该上传的Object就已经立即可读，并且Object的冗余数据已经写成功。不存在一种上传的中间状态，即read-after-write却无法读取到数据。对于删除操作也是一样的，用户删除指定的Object成功之后，该Object立即变为不存在。

1.6 OSS VS 文件系统

对比项	OSS	文件系统
数据模型	OSS是一个分布式的对象存储服务，提供的是一个Key-Value对形式的对象存储服务。	文件系统是一种典型的树状索引结构。
数据获取	根据Object的名称（Key）唯一的获取该Object的内容。虽然用户可以使用类似test1/test.jpg的名字，但是这并不表示用户的Object是保存在test1目录下面的。对于OSS来说，test1/test.jpg仅仅只是一个字符串，和a.jpg这种并没有本质的区别。因此不同名称的Object之间的访问消耗的资源是类似的。	一个名为test1/test.jpg的文件，访问过程需要先访问到test1这个目录，然后再在该目录下查找名为test.jpg的文件。
优势	支持海量的用户并发访问。	支持文件的修改，比如修改指定偏移位置的内容、截断文件尾部等。也支持文件夹的操作，比如重命名目录、删除目录、移动目录等非常容易。
劣势	OSS保存的Object不支持修改（追加写Object需要调用特定的接口，生成的Object也和正常上传的Object类型上有差别）。用户哪怕是仅仅需要修改一个字节也需要重新上传整个Object。 OSS可以通过一些操作来模拟类似文件夹的功能，但是代价非常昂贵。比如重命名目录，希望将test1目录重命名成test2，那么OSS的实际操作是将所有以test1/开头的Object都重新复制成以test2/开头的Object，这是一个非常消耗资源的操作。因此在使用OSS的时候要尽量避免类似的操作。

二、OSS的使用

2.1 准备工作

使用步骤：

1.开通OSS服务

2.创建存储空间

3.编写代码，实现OSS存储

2.2 代码实现OSS

1.依赖jar

<dependency>
            <groupId>com.aliyun.oss</groupId>
            <artifactId>aliyun-sdk-oss</artifactId>
            <version>3.13.0</version>
</dependency>

2.封装工具类

public class AliOssUtil {
    // Region请按实际情况填写
    public static final String ENDPOINT = "https://oss-cn-beijing.aliyuncs.com";
    // 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录RAM控制台创建RAM账号。
    public static final String KEY = "";
    public static final String KEYSECFET = "";
    //存储空间名称
    public static final String BUCKET="data215";
    //客户端对象，用于管理存储空间和文件等OSS资源，可以有一个或多个OSSClient。OSSClient可以并发使用
    public static OSS ossClient;
    static {
         ossClient= new OSSClientBuilder().build(ENDPOINT, KEY, KEYSECFET);
    }

    /**
     * 资源上传
     * @param objname 对象名称
     * @param data 数据内容
     * @param urlDate 访问地址的失效时间
     * @return 访问地址*/
    public static String upload(byte[] data,String objname,Date urlDate){
        //1.校验对象名是否存在
        if(!checkName(objname)) {
            //2.上传资源到oss服务器
            PutObjectResult result = ossClient.putObject(BUCKET, objname, new ByteArrayInputStream(data));
            //3.验证上传的结果
            if (StringUtils.hasLength(result.getETag())) {
                //4.成功，返回访问地址
                return createURL(objname, urlDate);
            }
        }
        return null;
    }
    /**
     * 生成OSS的访问地址
     * @param objname oss对象名称
     * @param date 访问地址的有效期*/
    public static String createURL(String objname, Date date){
        return ossClient.generatePresignedUrl(BUCKET,objname,date).toString();
    }
    /**
     * 验证对象名是否存在
     * @return 如果返回值为true，则文件存在，否则存储空间或者文件不存在*/
    public static boolean checkName(String objname){
        return ossClient.doesObjectExist(BUCKET,objname);
    }
    /**
     * 删除OSS文件*/
    public static boolean del(String objname){
         ossClient.deleteObject(BUCKET,objname);
         return true;
    }

3.单元测试

public class OssTest {
    @Test
    public void t1() throws Exception {
        FileInputStream fis=new FileInputStream("H:\\图片\\2.jpg");
        ByteArrayOutputStream baos=new ByteArrayOutputStream();
        byte[] data=new byte[1024];
        int len=0;
        while ((len=fis.read(data))!=-1){
            baos.write(data,0,len);
        }
        //上传
        Calendar calendar=Calendar.getInstance();
        calendar.add(Calendar.YEAR,1);
        System.err.println(AliOssUtil.upload(baos.toByteArray(),"20210830_2.jpg",calendar.getTime()));
    }
    @Test
    public void t2(){
        Calendar calendar=Calendar.getInstance();
        calendar.add(Calendar.YEAR,1);
        System.err.println(AliOssUtil.createURL("20210830_2.jpg",calendar.getTime()));
    }
}

2.3 基于OSS实现图片上传

1.依赖jar

<dependency>
            <groupId>com.aliyun.oss</groupId>
            <artifactId>aliyun-sdk-oss</artifactId>
            <version>3.13.0</version>
        </dependency>
        <dependency>
            <groupId>commons-fileupload</groupId>
            <artifactId>commons-fileupload</artifactId>
            <version>1.4</version>
        </dependency>

2.实现配置

spring:  
	servlet:
    multipart:
      max-file-size: 10MB #单个文件上限
      max-request-size: 50MB #一次请求的总文件上限

3.实现上传接口

 public R uploadImg(MultipartFile file) throws IOException {
        //1.校验
        if(!file.isEmpty()){
            //2.获取上传的文件名
            String fn=file.getOriginalFilename();
            //3.获取上传的文件内容
            byte[] data=file.getBytes();
            //4.生成url的有效期
            Date date= DateUtil.getTime(1);
            //4.将资源上传给OSS
            String url= AliOssUtil.upload(data,fn,date);
            //5.验证上传是否成功
            if(StringUtils.hasLength(url)){
                //6.上传成功，记录操作日志
                OssLog log=new OssLog(AliOssUtil.BUCKET,fn,url,1,new Date(),date);
                dao.save(log);
                //返回
                return R.ok(log);
            }
        }
        return R.fail();
    }

4.修复问题

1.文件名相同的问题

2.文件名过长

/**
     * 实现文件名重命名，并保证文件名的长度不超过*/
    public static String rename(String fileName){
        //1.验证长度
        if(fileName.length()>20){
            //2.如果超过，截取，从后往前截取，保留后缀名
            fileName=fileName.substring(fileName.length()-20);
        }
        //3.重命名 UUID
        return UUID.randomUUID().toString().replaceAll("-","")+"_"+fileName;
    }

public R uploadImg(MultipartFile file) throws IOException {
        //1.校验
        if(!file.isEmpty()){
            //2.获取上传的文件名
            String fn= FileUtil.rename(file.getOriginalFilename());
            //3.获取上传的文件内容
            byte[] data=file.getBytes();
            //4.生成url的有效期
            Date date= DateUtil.getTime(1);
            //4.将资源上传给OSS
            String url= AliOssUtil.upload(data,fn,date);
            //5.验证上传是否成功
            if(StringUtils.hasLength(url)){
                //6.上传成功，记录操作日志
                OssLog log=new OssLog(AliOssUtil.BUCKET,fn,url,1,new Date(),date);
                dao.save(log);
                //返回
                return R.ok(log);
            }
        }
        return R.fail();
    }

5.运行测试