文章目录
1、什么是分布式文件系统
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。
通俗来讲:
- 传统文件系统管理的文件就存储在本机。
- 分布式文件系统管理的文件存储在很多机器,这些机器通过网络连接,要被统一管理。无论是上传或者访问文件,都需要通过管理中心来访问
常见的分布式文件系统有谷歌的GFS、HDFS(Hadoop)、TFS(淘宝)、Fast DFS(淘宝)等。
不过,企业自己搭建分布式文件系统成本较高,对于一些中小型企业而言,使用云上的文件存储,是性价比更高的选择。
2、图片存储解决方案
实现图片上传服务,需要有存储的支持,那么我们的解决方案将以下几种:
- 直接将图片保存到服务的硬盘:
- 优点:开发便捷,成本低
- 缺点:扩容困难
- 使用分布式文件系统进行存储:
- 优点:容易实现扩容
- 缺点:开发复杂度稍大(有成熟的产品可以使用,比如:FastDFS)
- 使用第三方的存储服务:
- 优点:开发简单,拥有强大功能,免维护
- 缺点:付费(华为OBS、阿里OSS、七牛云等)
3、阿里云OSS对象存储
阿里的OSS就是一个文件云存储方案:官网地址-- https://www.aliyun.com/product/oss
简介:
阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.999999999%,服务设计可用性不低于99.99%。具有与平台无关的RESTful API接口,您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
您可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后,您可以选择标准类型(Standard)的阿里云OSS服务作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也可以选择成本更低、存储期限更长的低频访问类型(Infrequent Access)和归档类型(Archive)的阿里云OSS服务作为不经常访问数据的备份和归档。
3.1、开通oss访问
首先登陆阿里云,然后找到对象存储的产品:
点击进入后,开通服务:
随后即可进入管理控制台:
3.2、购买服务
使用第三方服务最大的缺点就是需要付费,下面,我们看下如何购买开通服务。
标准(LRS)存储包
下行流量包(这里价格过高,学习期间不建议购买)
- 说明:由于购买了OSS的存储包上行流量是免费的,但是下行流量是需要购买的
可以根据访问量进行扣费
3.3、基本概念
OSS中包含一些概念,我们来认识一下:
-
存储类型(Storage Class)
OSS提供标准、低频访问、归档三种存储类型,全面覆盖从热到冷的各种数据存储场景。其中标准存储类型提供高可靠、高可用、高性能的对象存储服务,能够支持频繁的数据访问;低频访问存储类型适合长期保存不经常访问的数据(平均每月访问频率1到2次),存储单价低于标准类型;归档存储类型适合需要长期保存(建议半年以上)的归档数据,在三种存储类型中单价最低。详情请参见存储类型介绍。
-
存储空间(Bucket)
存储空间是您用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间。您可以设置和修改存储空间属性用来控制地域、访问权限、生命周期等,这些属性设置直接作用于该存储空间内所有对象,因此您可以通过灵活创建不同的存储空间来完成不同的管理功能。
-
对象/文件(Object)
对象是 OSS 存储数据的基本单元,也被称为OSS的文件。对象由元信息(Object Meta),用户数据(Data)和文件名(Key)组成。对象由存储空间内部唯一的Key来标识。对象元信息是一组键值对,表示了对象的一些属性,比如最后修改时间、大小等信息,同时您也可以在元信息中存储一些自定义的信息。
-
地域(Region)
地域表示 OSS 的数据中心所在物理位置。您可以根据费用、请求来源等综合选择数据存储的地域。详情请参见OSS已开通的Region。
-
访问域名(Endpoint
)Endpoint 表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务,当访问不同地域的时候,需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的。具体的内容请参见各个Region对应的Endpoint。
-
访问密钥(AccessKey)
AccessKey,简称 AK,指的是访问身份验证中用到的AccessKeyId 和AccessKeySecret。OSS通过使用AccessKeyId 和AccessKeySecret对称加密的方法来验证某个请求的发送者身份。AccessKeyId用于标识用户,AccessKeySecret是用户用于加密签名字符串和OSS用来验证签名字符串的密钥,其中AccessKeySecret 必须保密。
以上概念中,跟我们开发中密切相关的有三个:
- 存储空间(Bucket)
- 访问域名(Endpoint)
- 访问密钥(AccessKey):包含了AccessKeyId 和AccessKeySecret。
3.4、创建一个bucket
在控制台的右侧,可以看到一个新建Bucket
按钮:
点击后,弹出对话框,填写基本信息:
注意点:
- bucket:存储空间名称,名字只能是字母、数字、中划线
- 区域:即服务器的地址,这里选择了上海
- Endpoint:选中区域后,会自动生成一个Endpoint地址,这将是我们访问OSS服务的域名的组成部分
- 存储类型:默认
- 读写权限:这里我们选择公共读,否则每次访问都需要额外生成签名并校验,比较麻烦。敏感数据不要请都设置为私有!
- 日志:不开通
3.5、创建AccessKey
有了bucket就可以进行文件上传或下载了。不过,为了安全考虑,我们给阿里云账户开通一个子账户,并设置对OSS的读写权限。
点击屏幕右上角的个人图像,然后点击访问控制:
在跳转的页面中,选择用户,并新建一个用户:
然后填写用户信息:
然后会为你生成用户的AccessKeyID和AccessKeySecret:
妥善保管,不要告诉任何人!
接下来,我们需要给这个用户添加对OSS的控制权限。
进入这个新增的用户详情页面:
点击添加权限,会进入权限选择页面,输入oss进行搜索,然后选择管理对象存储服务(OSS)
权限:
3.6、设置跨域规则
如果需要设置跨域访问,在这里设置的阿里云的跨域规则
3.7、SDK官方文档
4、阿里云OSS项目通用封装
在企业中阿里云OSS需要在项目中多个地方应用,所以把阿里云OSS封装到通用的模块中,方便后期各个模块引用。
4.1、导包
<dependency>
<groupId>com.aliyun.oss</groupId>
<artifactId>aliyun-sdk-oss</artifactId>
<version>3.10.2</version>
</dependency>
4.2、创建配置文件oss.properties
resources新建文件oss.properties
aliyun.oss.accessKeyId=LXXXXXXXXXXxw
aliyun.oss.accessKeySecret=lXXXXXXXXXXXXXXXXXXu
aliyun.oss.endpoint=https://oss-cn-beijing.aliyuncs.com
aliyun.oss.bucket=nanmu-image-study
aliyun.oss.host=https://myth.oss-cn-beijing.aliyuncs.com
4.3、创建配置类OSSProperties
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.PropertySource;
import org.springframework.stereotype.Component;
@Data
@PropertySource("oss.properties")
@ConfigurationProperties(prefix = "aliyun.oss")
@Component
public class OSSProperties {
private String accessKeyId;
private String accessKeySecret;
private String bucket;
private String host;
private String endpoint;
}
4.4、在次创建配置类
4.4.1、方案1 服务思想:创建OSSConfig
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class OSSConfig {
@Bean
public OSS ossClient(OSSProperties properties) {
return new OSSClientBuilder().build(properties.getEndpoint(), properties.getAccessKeyId(), properties.getAccessKeySecret());
}
}
4.4.2、方案2 Template思想:创建OssTemplate(方案二到4.4.2结束,后面4.5是方案一延续)
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.model.ObjectMetadata;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.Date;
public class OssTemplate {
private OssProperties ossProperties;
public OssTemplate(OssProperties properties) {
this.ossProperties = properties;
}
public String upload(String fileName, InputStream inputStream) {
// Endpoint以杭州为例,其它Region请按实际情况填写。
String endpoint = ossProperties.getEndpoint();
// 云账号AccessKey有所有API访问权限,
String accessKeyId = ossProperties.getAccessKey();
String accessKeySecret = ossProperties.getSecret();
// 创建OSSClient实例。
OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
// 上传文件流。
// <yourObjectName>表示上传文件到OSS时需要指定包含文件后缀在内的完整路径,例如 images/2020/11/11/asdf.jpg。
String objectName = "images/" + new SimpleDateFormat("yyyy/MM/dd").format(new Date())
+ "/" + System.currentTimeMillis() + fileName.substring(fileName.lastIndexOf("."));
// meta设置请求头,解决访问图片地址直接下载
ObjectMetadata meta = new ObjectMetadata();
meta.setContentType(getContentType(fileName.substring(fileName.lastIndexOf("."))));
ossClient.putObject(ossProperties.getBucketName(), objectName, inputStream,meta);
// 关闭OSSClient。
ossClient.shutdown();
return ossProperties.getUrl() + "/" + objectName;
}
public String getContentType(String FilenameExtension) {
if (FilenameExtension.equalsIgnoreCase(".bmp")) {
return "image/bmp";
}
if (FilenameExtension.equalsIgnoreCase(".gif")) {
return "image/gif";
}
if (FilenameExtension.equalsIgnoreCase(".jpeg") ||
FilenameExtension.equalsIgnoreCase(".jpg") ||
FilenameExtension.equalsIgnoreCase(".png")) {
return "image/jpg";
}
return "image/jpg";
}
}
方案二需要注意:注入bean
@Bean
public OssTemplate ossTemplate(OssProperties ossProperties) {
return new OssTemplate(ossProperties);
}
4.5、方案1延续,创建OSSService
import com.aliyun.oss.OSS;
import com.aliyun.oss.model.PutObjectRequest;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.IOException;
import java.io.InputStream;
import java.util.Arrays;
import java.util.List;
import java.util.UUID;
@Service
public class OSSService {
@Autowired
private OSSProperties prop;
@Autowired
private OSS ossClient;
// 支持的文件类型
private static final List<String> suffixes = Arrays.
asList("image/png", "image/jpeg", "image/bmp");
/**
* 本地上传
*
* @param file
* @return
*/
public String upload(MultipartFile file) throws Exception {
// 检查文件类型是否支持
String contentType = file.getContentType();
if (!suffixes.contains(contentType)) {
throw new Exception("不支持文件类型");
}
// 检查当前文件是否是图片,使用java提供的ImageIO工具
try {
BufferedImage bufferedImage = ImageIO.read(file.getInputStream());
if (bufferedImage == null) {
throw new Exception("不支持文件类型");
}
// 原文件名
String originalFilename = file.getOriginalFilename();
// 获取文件的后缀
String suffix = originalFilename.substring(originalFilename.lastIndexOf("."));
// 构造新的文件名,名字不重复
String newFileName = UUID.randomUUID().toString() + suffix;
// 上传文件
InputStream inputStream = file.getInputStream();
PutObjectRequest putObjectRequest = new PutObjectRequest(prop.getBucket(), newFileName, inputStream);
ossClient.putObject(putObjectRequest);
// https://XXX.oss-cn-beijing.aliyuncs.com/XXXXXX.jpg
String url = prop.getHost() + "/" + newFileName;
return url;
} catch (IOException e) {
e.printStackTrace();
throw new Exception("上传文件失败");
}
}
/**
* 删除文件
*
* @param url
* @return
*/
public String deleteFile(String url) {
String objectName = url.replace(prop.getHost() + "/", "");
ossClient.deleteObject(prop.getBucket(), objectName);
return "删除成功";
}
}