Amazon S3
Amazon S3,全名为亚马逊简易存储服务。类似于阿里云的oss,或百度云等网盘服务。即将文件存储在云端服务器中,文件会有对应的url。一般用于大型公司或者跨国业务。
官网(https://aws.amazon.com/cn/s3/)介绍如下:
Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用 S3 来存储并保护各种用例(如数据湖、网站、移动应用程序、备份和还原、存档、企业应用程序、IoT 设备和大数据分析)的数据,容量不限。Amazon S3 提供了易于使用的管理功能,因此您可以组织数据并配置精细调整过的使用权限控制,从而满足特定的业务、组织和合规性要求。Amazon S3 可达到 99.999999999%(11 个 9)的持久性,并为全球各地的公司存储数百万个应用程序的数据。
支持的功能介绍
-
存储管理和监控
- 存储管理:借助 S3 存储桶名称、前缀、对象标签和 S3 清单,可以通过广泛的方式来分类和报告您的数据,然后配置其他 S3 功能以采取操作;
- 存储监控:可以使用 S3 功能和其他 AWS 服务来监视和控制 S3 资源的使用方式;
-
存储类:以在多种不同的 S3 存储类中存储数据:S3 标准、S3 智能分层、Amazon S3 标准 - 不经常访问 (S3 标准 - IA)、S3 单区 - 不经常访问 (S3 单区 - IA)、Amazon S3 Glacier (S3 Glacier)、Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) 和 S3 Outposts
-
访问管理与安全性
- 访问管理:为了保护在 Amazon S3 中的数据,默认情况下用户只有自己所创建 S3 资源的访问权限,也可以通过配置向其他用户授予访问权限;
- 安全性:Amazon S3 提供了灵活的安全功能,用于阻止未经授权的用户访问数据;
-
随时查询:Amazon S3 具有内置的功能和免费服务,可以查询数据,无需复制并将数据加载到单独的分析平台或数据仓库;
-
数据传输:AWS 提供数据传输服务组合,从而为任何数据迁移项目提供适当解决方案;
使用
使用起来基本上就是通过程序去操作文件,下载、上传等。这里以下载图片为例。
#!/usr/bin/env python
# fileUsing: download img from s3, and return img mat
import os
os.environ['http_proxy'] = ""
os.environ['https_proxy'] = ""
import cv2
from boto3.session import Session
class Config(object):
def __init__(self):
self.aws_access_key_id = 'xxx' # set config
self.aws_secret_access_key = 'xxx'
self.endpoint_url = 'http://xxxx'
self.bucket = 'xxxxx' # the place where save files
class Url2Image(object):
def __init__(self):
self.config = Config()
self.session = Session(
aws_access_key_id=self.config.aws_access_key_id,
aws_secret_access_key=self.config.aws_secret_access_key)
self.s3_client = self.session.client("s3", endpoint_url=self.config.endpoint_url)
def url_to_image(self, key):
try:
self.s3_client.download_file(Filename=key, Key=key, Bucket=self.config.bucket) # key 类似于存放到bucket中的文件名
except Exception as e:
print(e)
img = cv2.imread(key)
# os.remove(key)
return img
if __name__ == '__main__':
u2i = Url2Image()
key = 'xxxx'
image = u2i.url_to_image(key)
cv2.imshow("Image", image)
cv2.waitKey(0)
使用心得
操作比较方便,但相较于国内阿里云oss来说,就存储功能来说,个人感觉还是oss更好用一些;