阿里巴巴 OSS与AWS（亚马逊） S3 和腾讯云cos 存储服务 介绍篇

前言

对象存储服务，简单来说，可以把它当成一个“网盘”，可以上传下载数据，也可以直接在这个“网盘”中对文件进行某些操作。

1.定时或者基于某种条件自动地，每天从数据库中导出指定格式的数据，生成文件，保存到服务器本地指定目录内
2.使用对应的命令行工具，对服务器本地指定目录和对象存储服务中的指定目录，以完全同步的方式进行上传

对于第1步，我用bat或shell写了个通用的数据导出就解决了（【BAT】在windows环境下使用cmd批处理实现多数据来源的多份数据导出及管理 - DarkAthena's World-ORACLE,RETAIL and IT）。对于第2步，由于之前完全没接触过，就只能翻官方文档看了
亚马逊云 S3 - https://aws.amazon.com/cn/cli/
腾讯云 COS - https://cloud.tencent.com/document/product/436/10976
阿里云 OSS - https://help.aliyun.com/document_detail/50452.html

京东云 oss  使用S3cmd管理OSS-对象存储-产品文档-帮助文档-京东云

七牛云 Kodo 命令行工具(qshell)_实用工具_对象存储 - 七牛开发者中心

华为云 OBS obsutil简介_对象存储服务 OBS_工具指南_obsutil_华为云

1. AWS S3对象存储
Amazon Simple Storage Service (Amazon S3) 是一种面向 Internet 的存储服务。您可以通过 Amazon S3 随时在 Web 上的任何位置存储和检索的任意大小的数据。

Amazon S3将数据作为对象存储在存储区中。一个对象由一个文件和可选的描述该文件的任何元数据组成。在S3里面实质上是没有目录和文件夹的概念，即目录概念实质只是对象的前缀，并不存在实体。

1.1 存储桶(bucket)
我们的数据都是存储在AWS 的存储桶中，我们可以把桶理解为磁盘分区，不过它是由一个桶名（字符串）唯一标识，即你不能创建别人已经创建过的桶。

1.2 对象

(1)对象键 (或键名称) 在存储桶中唯一地标识对象。(Key)
(2)对象元数据是一组名称值对。您可以在上传对象元数据时对其进行设置。上传对象后，您将无法修改对象元数据。修改对象元数据的唯一方式是创建对象的副本并设置元数据。对象元数据又分为系统元数据和用户自定义元数据。
(3) 数据

1.3 S3存储类型

类型	可用性	其他
STANDRARD：	99.99%	最常用的数据类型
STANDRARD_IA	99.9%	检索收费，不适用于经常访问的数据
ONEZONE_IA	99.5%	无法灵活的应对可用去丢失的情况
GLACIER	99.99%	不用于实时访问，必须先还原对象，然后再访问
RRS	99.99%	无

1.4 S3的使用
使用SDK的访问服务

1.5 桶的操作

1. 创建桶（每个用户最多可以创建100个）
2. 生命周期的管理

1.6 对象的管理

1. 上传
2. 下载
3. 复制
4. 删除

2 阿里云对象存储服务（Object Storage Service，简称 OSS）

是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。

OSS 具有与平台无关的 RESTful API 接口，您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

您可以使用阿里云提供的 API、SDK 接口或者 OSS 迁移工具轻松地将海量数据移入或移出阿里云 OSS。数据存储到阿里云 OSS 以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）和归档存储（Archive）作为不经常访问数据的存储方式。

2.1 存储类型（Storage Class）
OSS 提供标准、低频访问、归档三种存储类型，全面覆盖从热到冷的各种数据存储场景。其中标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问；低频访问存储类型适合长期保存不经常访问的数据（平均每月访问频率 1 到 2 次），存储单价低于标准类型；归档存储类型适合需要长期保存（建议半年以上）的归档数据，在三种存储类型中单价最低。

2.2 存储空间（Bucket）
存储空间是您用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。

2.3 对象/文件（Object）
对象是 OSS 存储数据的基本单元，也被称为 OSS 的文件。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的 Key 来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，同时您也可以在元信息中存储一些自定义的信息。

2.4 地域（Region）
地域表示 OSS 的数据中心所在物理位置。您可以根据费用、请求来源等选择合适的地域创建 Bucket。

2.5 访问域名（Endpoint）
Endpoint 表示 OSS 对外服务的访问域名。OSS 以 HTTP RESTful API 的形式对外提供服务，当访问不同地域的时候，需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的。

2.6 访问密钥（AccessKey）
AccessKey（简称 AK）指的是访问身份验证中用到的 AccessKeyId 和 AccessKeySecret。OSS 通过使用 AccessKeyId 和 AccessKeySecret 对称加密的方法来验证某个请求的发送者身份。AccessKeyId 用于标识用户；AccessKeySecret 是用户用于加密签名字符串和 OSS 用来验证签名字符串的密钥，必须保密。