Amazon S3下载图片

Amazon S3

Amazon S3，全名为亚马逊简易存储服务。类似于阿里云的oss，或百度云等网盘服务。即将文件存储在云端服务器中，文件会有对应的url。一般用于大型公司或者跨国业务。

官网（https://aws.amazon.com/cn/s3/）介绍如下：

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务，提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用 S3 来存储并保护各种用例（如数据湖、网站、移动应用程序、备份和还原、存档、企业应用程序、IoT 设备和大数据分析）的数据，容量不限。Amazon S3 提供了易于使用的管理功能，因此您可以组织数据并配置精细调整过的使用权限控制，从而满足特定的业务、组织和合规性要求。Amazon S3 可达到 99.999999999%（11 个 9）的持久性，并为全球各地的公司存储数百万个应用程序的数据。

支持的功能介绍

• 存储管理和监控

  • 存储管理：借助 S3 存储桶名称、前缀、对象标签和 S3 清单，可以通过广泛的方式来分类和报告您的数据，然后配置其他 S3 功能以采取操作；
  • 存储监控：可以使用 S3 功能和其他 AWS 服务来监视和控制 S3 资源的使用方式；

• 存储类：以在多种不同的 S3 存储类中存储数据：S3 标准、S3 智能分层、Amazon S3 标准 - 不经常访问 (S3 标准 - IA)、S3 单区 - 不经常访问 (S3 单区 - IA)、Amazon S3 Glacier (S3 Glacier)、Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) 和 S3 Outposts

• 访问管理与安全性

  • 访问管理：为了保护在 Amazon S3 中的数据，默认情况下用户只有自己所创建 S3 资源的访问权限，也可以通过配置向其他用户授予访问权限；
  • 安全性：Amazon S3 提供了灵活的安全功能，用于阻止未经授权的用户访问数据；

• 随时查询：Amazon S3 具有内置的功能和免费服务，可以查询数据，无需复制并将数据加载到单独的分析平台或数据仓库；

• 数据传输：AWS 提供数据传输服务组合，从而为任何数据迁移项目提供适当解决方案；

使用

使用起来基本上就是通过程序去操作文件，下载、上传等。这里以下载图片为例。

#!/usr/bin/env python
# fileUsing: download img from s3, and return img mat

import os
os.environ['http_proxy'] = ""
os.environ['https_proxy'] = "" 
import cv2
from boto3.session import Session


class Config(object):
    def __init__(self):
    	self.aws_access_key_id = 'xxx'   # set config
        self.aws_secret_access_key = 'xxx'
        self.endpoint_url = 'http://xxxx'
        self.bucket = 'xxxxx'  # the place where save files

class Url2Image(object):
    def __init__(self):
        self.config = Config()
        self.session = Session(
            aws_access_key_id=self.config.aws_access_key_id,
            aws_secret_access_key=self.config.aws_secret_access_key)
        self.s3_client = self.session.client("s3", endpoint_url=self.config.endpoint_url)

    def url_to_image(self, key):
        try:
            self.s3_client.download_file(Filename=key, Key=key, Bucket=self.config.bucket)   # key 类似于存放到bucket中的文件名
        except Exception as e:
            print(e)
        img = cv2.imread(key)
        # os.remove(key)
        return img


if __name__ == '__main__':
    u2i = Url2Image()
    key = 'xxxx'
    image = u2i.url_to_image(key)
    cv2.imshow("Image", image)
    cv2.waitKey(0)

使用心得

操作比较方便，但相较于国内阿里云oss来说，就存储功能来说，个人感觉还是oss更好用一些；

资源

• https://aws.amazon.com/cn/s3/features/?nc=sn&loc=2

• https://ecloud.10086.cn/op-help-center/develop/202007021593678008488089060.pdf