6、阿里云OSS对象存储手把手学习及企业使用方案

小白de成长之路

已于 2022-11-07 18:35:58 修改

阅读量1.2k

点赞数 2

分类专栏：存储相关 Java相关文章标签：阿里云 java oss 分布式文件存储图片存储解决方案

于 2022-11-07 18:34:01 首次发布

本文链接：https://blog.csdn.net/Java__EE/article/details/127734829

版权

存储相关同时被 2 个专栏收录

21 篇文章 1 订阅

订阅专栏

Java相关

21 篇文章 1 订阅

订阅专栏

文章目录

1、什么是分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

通俗来讲：

传统文件系统管理的文件就存储在本机。
分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过管理中心来访问

常见的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）、Fast DFS（淘宝）等。

不过，企业自己搭建分布式文件系统成本较高，对于一些中小型企业而言，使用云上的文件存储，是性价比更高的选择。

2、图片存储解决方案

实现图片上传服务，需要有存储的支持，那么我们的解决方案将以下几种：

直接将图片保存到服务的硬盘：

优点：开发便捷，成本低
缺点：扩容困难

使用分布式文件系统进行存储：

优点：容易实现扩容
缺点：开发复杂度稍大（有成熟的产品可以使用，比如：FastDFS）

使用第三方的存储服务：

优点：开发简单，拥有强大功能，免维护
缺点：付费（华为OBS、阿里OSS、七牛云等）

3、阿里云OSS对象存储

阿里的OSS就是一个文件云存储方案：官网地址-- https://www.aliyun.com/product/oss
在这里插入图片描述

简介：

阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.999999999%，服务设计可用性不低于99.99%。具有与平台无关的RESTful API接口，您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后，您可以选择标准类型（Standard）的阿里云OSS服务作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问类型（Infrequent Access）和归档类型（Archive）的阿里云OSS服务作为不经常访问数据的备份和归档。

3.1、开通oss访问

首先登陆阿里云，然后找到对象存储的产品：

在这里插入图片描述

点击进入后，开通服务：

随后即可进入管理控制台：

在这里插入图片描述

3.2、购买服务

使用第三方服务最大的缺点就是需要付费，下面，我们看下如何购买开通服务。

标准（LRS）存储包

下行流量包（这里价格过高，学习期间不建议购买）

说明：由于购买了OSS的存储包上行流量是免费的，但是下行流量是需要购买的

在这里插入图片描述

可以根据访问量进行扣费

在这里插入图片描述

3.3、基本概念

OSS中包含一些概念，我们来认识一下：

存储类型（Storage Class）

OSS提供标准、低频访问、归档三种存储类型，全面覆盖从热到冷的各种数据存储场景。其中标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问；低频访问存储类型适合长期保存不经常访问的数据（平均每月访问频率1到2次），存储单价低于标准类型；归档存储类型适合需要长期保存（建议半年以上）的归档数据，在三种存储类型中单价最低。详情请参见存储类型介绍。
存储空间（Bucket）

存储空间是您用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。您可以设置和修改存储空间属性用来控制地域、访问权限、生命周期等，这些属性设置直接作用于该存储空间内所有对象，因此您可以通过灵活创建不同的存储空间来完成不同的管理功能。
对象/文件（Object）

对象是 OSS 存储数据的基本单元，也被称为OSS的文件。对象由元信息（Object Meta），用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的Key来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，同时您也可以在元信息中存储一些自定义的信息。
地域（Region）

地域表示 OSS 的数据中心所在物理位置。您可以根据费用、请求来源等综合选择数据存储的地域。详情请参见OSS已开通的Region。
访问域名（Endpoint）

Endpoint 表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务，当访问不同地域的时候，需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的。具体的内容请参见各个Region对应的Endpoint。
访问密钥（AccessKey）

AccessKey，简称 AK，指的是访问身份验证中用到的AccessKeyId 和AccessKeySecret。OSS通过使用AccessKeyId 和AccessKeySecret对称加密的方法来验证某个请求的发送者身份。AccessKeyId用于标识用户，AccessKeySecret是用户用于加密签名字符串和OSS用来验证签名字符串的密钥，其中AccessKeySecret 必须保密。

以上概念中，跟我们开发中密切相关的有三个：

存储空间（Bucket）
访问域名（Endpoint）
访问密钥（AccessKey）：包含了AccessKeyId 和AccessKeySecret。

3.4、创建一个bucket

在控制台的右侧，可以看到一个新建Bucket按钮：

在这里插入图片描述

点击后，弹出对话框，填写基本信息：

在这里插入图片描述

注意点：

bucket：存储空间名称，名字只能是字母、数字、中划线
区域：即服务器的地址，这里选择了上海
Endpoint：选中区域后，会自动生成一个Endpoint地址，这将是我们访问OSS服务的域名的组成部分
存储类型：默认
读写权限：这里我们选择公共读，否则每次访问都需要额外生成签名并校验，比较麻烦。敏感数据不要请都设置为私有！
日志：不开通

3.5、创建AccessKey

有了bucket就可以进行文件上传或下载了。不过，为了安全考虑，我们给阿里云账户开通一个子账户，并设置对OSS的读写权限。

点击屏幕右上角的个人图像，然后点击访问控制：

在这里插入图片描述

在跳转的页面中，选择用户，并新建一个用户：

在这里插入图片描述

然后填写用户信息：

在这里插入图片描述

然后会为你生成用户的AccessKeyID和AccessKeySecret：

妥善保管，不要告诉任何人！

接下来，我们需要给这个用户添加对OSS的控制权限。

进入这个新增的用户详情页面：

在这里插入图片描述

点击添加权限，会进入权限选择页面，输入oss进行搜索，然后选择管理对象存储服务（OSS）权限：

在这里插入图片描述

3.6、设置跨域规则

如果需要设置跨域访问，在这里设置的阿里云的跨域规则

在这里插入图片描述

3.7、SDK官方文档

阿里云OSS云存储的SDK示例地址

4、阿里云OSS项目通用封装

在企业中阿里云OSS需要在项目中多个地方应用，所以把阿里云OSS封装到通用的模块中，方便后期各个模块引用。

4.1、导包

<dependency>
    <groupId>com.aliyun.oss</groupId>
    <artifactId>aliyun-sdk-oss</artifactId>
    <version>3.10.2</version>
</dependency>

4.2、创建配置文件oss.properties

resources新建文件oss.properties

aliyun.oss.accessKeyId=LXXXXXXXXXXxw
aliyun.oss.accessKeySecret=lXXXXXXXXXXXXXXXXXXu
aliyun.oss.endpoint=https://oss-cn-beijing.aliyuncs.com
aliyun.oss.bucket=nanmu-image-study
aliyun.oss.host=https://myth.oss-cn-beijing.aliyuncs.com

4.3、创建配置类OSSProperties

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.PropertySource;
import org.springframework.stereotype.Component;

@Data
@PropertySource("oss.properties")
@ConfigurationProperties(prefix = "aliyun.oss")
@Component
public class OSSProperties {
    private String accessKeyId;
    private String accessKeySecret;
    private String bucket;
    private String host;
    private String endpoint;
}

4.4、在次创建配置类

4.4.1、方案1 服务思想：创建OSSConfig

import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class OSSConfig {

    @Bean
    public OSS ossClient(OSSProperties properties) {
        return new OSSClientBuilder().build(properties.getEndpoint(), properties.getAccessKeyId(), properties.getAccessKeySecret());
    }
}

4.4.2、方案2 Template思想：创建OssTemplate（方案二到4.4.2结束，后面4.5是方案一延续）

import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.model.ObjectMetadata;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.Date;

public class OssTemplate {

    private OssProperties ossProperties;

    public OssTemplate(OssProperties properties) {
        this.ossProperties = properties;
    }

    public String upload(String fileName, InputStream inputStream) {

        // Endpoint以杭州为例，其它Region请按实际情况填写。
        String endpoint = ossProperties.getEndpoint();

        // 云账号AccessKey有所有API访问权限，
        String accessKeyId = ossProperties.getAccessKey();
        String accessKeySecret = ossProperties.getSecret();

        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);

        // 上传文件流。
        // <yourObjectName>表示上传文件到OSS时需要指定包含文件后缀在内的完整路径，例如 images/2020/11/11/asdf.jpg。
        String objectName = "images/" + new SimpleDateFormat("yyyy/MM/dd").format(new Date())
                + "/" + System.currentTimeMillis() + fileName.substring(fileName.lastIndexOf("."));

        // meta设置请求头,解决访问图片地址直接下载
        ObjectMetadata meta = new ObjectMetadata();
        meta.setContentType(getContentType(fileName.substring(fileName.lastIndexOf("."))));
        ossClient.putObject(ossProperties.getBucketName(), objectName, inputStream,meta);

        // 关闭OSSClient。
        ossClient.shutdown();

        return ossProperties.getUrl() + "/" + objectName;
    }

    public  String getContentType(String FilenameExtension) {
        if (FilenameExtension.equalsIgnoreCase(".bmp")) {
            return "image/bmp";
        }
        if (FilenameExtension.equalsIgnoreCase(".gif")) {
            return "image/gif";
        }
        if (FilenameExtension.equalsIgnoreCase(".jpeg") ||
                FilenameExtension.equalsIgnoreCase(".jpg") ||
                FilenameExtension.equalsIgnoreCase(".png")) {
            return "image/jpg";
        }
        return "image/jpg";
    }

}

方案二需要注意：注入bean

	@Bean
    public OssTemplate ossTemplate(OssProperties ossProperties) {
        return new OssTemplate(ossProperties);
    }

4.5、方案1延续，创建OSSService

import com.aliyun.oss.OSS;
import com.aliyun.oss.model.PutObjectRequest;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.IOException;
import java.io.InputStream;
import java.util.Arrays;
import java.util.List;
import java.util.UUID;

@Service
public class OSSService {
    @Autowired
    private OSSProperties prop;

    @Autowired
    private OSS ossClient;

    // 支持的文件类型
    private static final List<String> suffixes = Arrays.
            asList("image/png", "image/jpeg", "image/bmp");

    /**
     * 本地上传
     *
     * @param file
     * @return
     */
    public String upload(MultipartFile file) throws Exception {
        // 检查文件类型是否支持
        String contentType = file.getContentType();
        if (!suffixes.contains(contentType)) {
            throw new Exception("不支持文件类型");
        }
        // 检查当前文件是否是图片，使用java提供的ImageIO工具
        try {
            BufferedImage bufferedImage = ImageIO.read(file.getInputStream());
            if (bufferedImage == null) {
                throw new Exception("不支持文件类型");
            }
            // 原文件名
            String originalFilename = file.getOriginalFilename();
            // 获取文件的后缀
            String suffix = originalFilename.substring(originalFilename.lastIndexOf("."));
            // 构造新的文件名，名字不重复
            String newFileName = UUID.randomUUID().toString() + suffix;
            // 上传文件
            InputStream inputStream = file.getInputStream();
            PutObjectRequest putObjectRequest = new PutObjectRequest(prop.getBucket(), newFileName, inputStream);
            ossClient.putObject(putObjectRequest);
            // https://XXX.oss-cn-beijing.aliyuncs.com/XXXXXX.jpg
            String url = prop.getHost() + "/" + newFileName;
            return url;
        } catch (IOException e) {
            e.printStackTrace();
            throw new Exception("上传文件失败");
        }
    }

    /**
     * 删除文件
     *
     * @param url
     * @return
     */
    public String deleteFile(String url) {
        String objectName = url.replace(prop.getHost() + "/", "");
        ossClient.deleteObject(prop.getBucket(), objectName);
        return "删除成功";
    }
}