阿里云服务（三）—对象存储OSS和块存储

五、对象存储OSS

块存储适合存放本地使用的一些文件，而且成本比较高，容量也有一些限制，不是适合数据量庞大的大数据。

1、对象存储OSS的概念
  1.1 什么是对象存储OSS
    存储分类
      块存储：阿里云为云服务器ECS提供的块设备，具有高性能和低时延的特点，支持随机读写，可以作为系统盘或者数据盘直接挂载到ECS实例上。
      文件存储NAS：适合存储非结构化的海量数据，需要通过标准的文件访问协议访问这些数据。Linux系统需要使用NFS协议，Windows系统需要使用SMB，又称CIFS协议。（二维表的方式，称作结构化数据，一行一列，计算机里可以用access、mysql存储）
      对象存储OSS：一个海量的存储空间，适合存储互联网上产生的图片、短视频、音频等海量非结构化数据。您可以通过API在任何时间、任何地点访问对象存储里的数据。
    对象的概念
      对象是OSS存储数据的基本单元，也被称为OSS的文件。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的Key来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，同时也可以在元信息中存储一些自定义的信息。

    对象存储OSS的概念
      阿里云对象存储OSS：
      阿里云对象存储服务（Object Storage Service，简称OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999（12个9），服务设计可用性（或业务连续性）不低于99.995%。
      OSS具有与平台无关的RESTful API接口，可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
      可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。
      数据存储到阿里云OSS以后，可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）和归档存储（Archive）作为不经常访问数据的存储方式。
    对象存储OSS的优势
      方便、快捷的使用方式：
        提供标准RESTful API接口、丰富的SDK包、客户端工具、控制台。
        不限文件数量和大小。可以根据所需存储量无限扩展存储空间。
        支持流式写入和读出。特别适合大文件的边写边读业务场景。
        支持数据生命周期管理。
      强大、灵活的安全机制：
        灵活的鉴权、授权机制。
        提供用户级别资源隔离机制和多集群同步机制。
      数据冗余机制：
        OSS采用数据冗余存储机制，确保硬件失效时的数据可靠性和可用性。
        OSS Object操作具有强一致性。
        OSS会通过计算网络流量包的校验和保证数据完整传输。
        OSS的冗余存储机制，可支持两个存储设施并发损坏时，仍维持数据不丢失。
      丰富、强大的增值服务
        图片处理。
        音视频转码。
        内容加速分发。
  1.2 对象存储OSS中的概念
    存储空间（Bucket）
      存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。
        同一个存储空间的内部是扁平的，没有文件系统的目录等概念，所有的对象都直接隶属于其对应的存储空间。
        每个用户可以拥有多个存储空间。
        存储空间的名称在OSS范围内必须是全局唯一的，一旦创建之后无法修改名称。
        存储空间内部的对象数目没有限制。
      存储空间的命名规范如下：
        只能包括小写字母、数字和短横线（-）。
        必须以小写字母或者数字开头和结尾。
        长度必须在3—63字节之间。
    对象/文件（Object）
      对象是OSS存储数据的基本单元，也被称为OSS的文件。对象由元信息（Object Meta），用户数据（Data）和文件名（Key）组成。
      对象的生命周期是从上传成功到被删除为止。在整个生命周期内，只有通过追加上传的Object可以继续通过追加上传写入数据，其他上传方式上传的Object内容无法编辑，可以通过重复上传同名的对象来覆盖之前的对象。
      对象的命名规范如下：
        使用UTF-8编码。
        长度必须在1—1023字节之间。
        不能以正斜线（/）或者反斜线（\）开头。
    其他概念
      Region（地域）：OSS的数据中心所在物理位置。用户可以根据费用、请求来源等选择合适的地域创建Bucket。一般来说，距离用户更近的Region访问速度更快。Region是在创建Bucket的时候指定的，一旦指定之后就不允许更改。该Bucket下所有的Object都存储在对象的数据中心，目前不支持Object级别的Region设置。
      Endpoint（访问域名）：OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务，当访问不同的Region的时候，需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint也是不同的。
      AccessKey（访问密钥）：AccessKey（简称AK）指的是访问身份验证中用到的AccessKeyId和AccessKeySecret。
      强一致性：Object操作在OSS上具有原子性，操作要么成功要么失败，不会存在有中间状态的Object。
      数据冗余机制：OSS采用数据冗余存储机制，将每个对象的不同冗余存储在同一个区域内多个设施的多个设备上，确保硬件失效时的数据可靠性和可用性。
  1.3 对象存储的特点
    OSS对比文件系统

    对象存储OSS VS 自建服务器存储

    对象存储OSS的存储类型
      对象存储OSS提供标准、低频访问、归档三种存储类型，全面覆盖从热到冷的各种数据存储场景。
        标准存储类型（Standard）：OSS标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适合各种社交、分享类的图片、音视频应用、大型网站、大数据分析的合适选择。
        低频访问存储类型（Infrequent Access）：OSS低频访问存储类型适合长期保存不经常访问的数据（平均每月访问频率1到2次）。适合各类移动应用、智能设备、企业数据的长期备份，支持实时数据访问。
        归档存储类型（Archive）：OSS归档存储类型在三种存储类型中单价最低。适合需要长期保存的档案数据、医疗影像、科学资料、影视素材。
    存储类型对比

2、对象存储OSS的应用
  2.1 对象存储OSS的管理
    对象存储OSS的管理流程
      使用阿里云管理控制台来完成OSS基本操作的流程如下：开通OSS服务 -> 创建存储空间 -> 上传文件 -> 下载文件 -> 删除文件 -> 删除存储空间
    创建存储空间

    存储空间的读写权限
      私有（private）：只有该存储空间的拥有者可以对该存储空间内的文件进行读写操作，其他人无法访问该存储空间内的文件。
      公共读（public-read）：只有该存储空间的拥有者可以对该存储空间内的文件进行写操作，任何人（包括匿名访问者）可以对该存储空间中的文件进行读操作。警告，互联网上任何用户都可以对该Bucket内文件进行访问，这有可能造成数据的外泄以及费用激增，请谨慎操作。
      公共读写（public-read-write）：任何人（包括匿名访问者）都可以对该存储空间内文件进行读写操作。警告，互联网上任何用户都可以对该Bucket内的文件进行访问，并且向该Bucket写入数据。这有可能造成数据的外泄以及费用激增，若被人恶意写入违法信息还可能会侵害合法权益。除特殊场景外，不建议配置。
    上传文件

  2.2 对象存储OSS的访问
    Bucket Policy授权其他用户访问OSS资源
      Bucket Policy支持在控制台直接进行图形化配置操作，并且Bucket拥有者直接可以进行访问授权，通常用来将私有文件共享给指定的用户或群体。
      登录OSS管理控制台 -> 在存储空间列表中，单击存储空间 -> 空间的概览页面，单击文件管理 -> 在授权页面，单击新增授权 -> 在新增授权页面，设置项目 -> 点击确定
      可授权的用户：
        当前帐号：可以从下拉菜单中选择当前帐号的子帐号，授予Bucket访问权限。帐号必须是主账号，或拥有此Bucket管理权限及RAM控制台ListUsers权限的子帐号。
        其他帐号：当需要给其他帐号授予Bucket访问权限，或帐号无ListUsers权限时，请直接输入被授权帐号的UID。
        匿名帐号（*）：若需要给所有用户授权，可以选择匿名帐号（*）。
    控制台下载Object

    获取文件的URL

    删除OSS文件
      可以通过OSS控制台删除单个文件或批量删除文件。通过控制台批量删除文件个数上限为1000。如果想更灵活的选择删除的文件，或实现更大批量的删除，请参见开发指南中的删除文件。
  2.3 对象存储OSS的最佳实践
    防盗链
      对象存储OSS是按使用量收费的服务，为了减少存储于OSS的数据被其他人盗链而产生额外费用，OSS支持设置基于HTTP和HTTPS header中表头字段Referer的防盗链方法。可以通道控制台为存储空间设置Referer字段的白名单和是否允许Referer字段为空的请求访问。
      设置防盗链功能，包括一下参数：
        Referer白名单。仅允许指定的域名访问OSS资源。
        是否允许空Referer。如果不允许空Referer，则只有HTTP或HTTPS header中包含Referer字段的请求才能访问OSS资源。
    生命周期规则
      为方便批量管理存储空间（Bucket）内的资源，OSS提供了生命周期规则。可以通过生命周期规则来批量转换Bucket内对象（Object）的存储类型，也可以批量删除指定的Object和碎片（Part）。

    OSS之间的数据迁移
      可以使用阿里云在线迁移服务在阿里云对象存储OSS之间进行跨帐号、跨地域、以及同地域内的数据迁移。
      OSS之间数据迁移包含一下场景：
        同地域数据迁移，即同地域Bucket之间数据迁移
        跨地域数据迁移，即不同地域Bucket之间数据迁移
        跨帐号数据迁移，即不同阿里云帐号之间Bucket数据迁移
      使用在线迁移服务，只需在控制台填写源数据地址和目标OSS地址信息，并创建迁移任务即可。启动迁移后，可以通过控制台管理迁移任务，查看迁移进度、流量等信息；也可以生成迁移报告，查看迁移文件列表、错误文件列表。
    数据库备份到OSS

3、对象存储OSS的计费和限制
  对象存储OSS的计费方式
    OSS的计费方式分为按量付费和包年包月两种
    按量付费：按实际使用量*单价的方式计费，每小时统计前一小时的实际用量并从账户余额中扣除实际消费金额。例如：当前时间是9:00，结算的是8:00—9:00产生的费用。
    包年包月：预先购买指定资源包，之后使用资源时，扣除相应的额度。一般情况下，包年包月比按量付费更加优惠。资源包目前仅提供标准型存储包、低频型存储包、归档型存储包、下行流量包、回源流量包。
  对象存储OSS的费用构成

  对象存储OSS的使用限制

六、块存储

就是云端的硬盘。

1、阿里云块存储概念
  块存储的概念
    块存储是阿里云为云服务器ECS提供的块设备产品，具有高性能和低时延的特点，支持随机读写。可以像使用物理硬盘一样格式化并建立文件系统来使用块存储，可满足大部分通用业务场景下的数据存储需求。
    阿里云块存储类型：
      云盘：阿里云为云服务器ECS提供的数据块级别的块存储产品。云盘采用多副本的分布式机制，具有低时延、高性能、持久性、高可靠等性能，支持随时创建、扩容以及释放。
      共享块存储：一种支持多个ECS实例并发读写访问的数据块级存储设备。与云盘类似，采用多副本的分布式机制，支持多实例并发访问，具有低时延、高性能、高可靠等特性，适用于完全共享型（shared-everything）架构下对块存储设备的共享访问场景。
      本地盘：基于云服务器ECS所在物理机（宿主机）上的本地硬盘设备，为ECS实例提供本地存储访问能力。为对存储I/O性能和海量存储性价比有极高要求的业务场景而设计的产品。具有低时延、高随机IOPS、高吞吐量、高性价比等优势。
  性能指标--IOPS
    IOPS指每秒能处理的I/O个数，表示块存储处理读写（输出/输入）的能力，单位为次。如果需要部署事务密集型应用，例如数据库类应用等典型场景，需要关注IOPS性能。

  性能指标--吞吐量、访问时延
    吞吐量和访问时延也是衡量块存储产品的性能指标。
    吞吐量：吞吐量是指单位时间内可以成功传输的数据数量，单位为MBps。如果您需要部署大量顺序读写的应用，例如Hadoop离线计算型业务等典型场景，需要关注吞吐量。
    访问时延：
      访问时延是指块存储处理一个I/O需要的时间，单位为s、ms或者us。过高的时延会导致应用性能下降或报错。
      如果应用对高时延比较敏感，例如数据库应用，建议使用ESSD云盘、SSD云盘、SSD共享块存储或本地SSD盘类产品。
      如果应用偏重数据吞吐能力，对时延相对不太敏感，例如Hadoop离线计算等吞吐密集型应用，建议使用d1或d1ne大数据型实例规格包含的SATA HDD本地盘产品。
    容量无法衡量块存储性能，但对于存储设备而言，不同的容量能达到的性能不同，容量越大，存储设备的数据处理能力越强。相同类型块存储产品的单位容量的I/O性能均一致，但云盘性能随容量增长而线性增长，直至达到该类型块存储的单盘性能上限。
2、阿里云块存储优势
  阿里云块存储特点
    多样性：阿里云提供多种块存储供用户选择。
    高效性：采用分布式存储架构，具有低时延、高性能、持久性、高可靠等特点。
    安全性：采用分布式三副本机制，为ECS实例提供99.9999999%的数据可靠性保证。
    本地盘来自单台物理机，数据可靠性取决于物理机的可靠性，存在单点故障风险。建议您在应用层做数据冗余，保证数据的可用性。可以使用部署集将业务涉及到的几台ECS实例分散部署在不同的物理服务器上，保证业务的高可用性和底层容灾能力。
  三副本技术

  ECS块存储加密
    使用ECS云盘加密功能，系统会将从ECS实例传输到云盘的数据自动加密，并在读取数据时自动解密。加密解密在ECS实例所在的宿主机上进行，对从ECS实例传输到云盘的数据进行加密。在加密解密的过程中，云盘的性能几乎没有衰减。
    在创建加密云盘并将其挂载到ECS实例后，系统将对以下数据进行加密：
      云盘中的静态数据
      云盘和实例间传输的数据（实例操作系统内数据不加密）
      从加密云盘创建的所有快照（即，加密快照）
3、阿里云块存储的分类
  阿里云云盘类型
    阿里云为云服务器ECS提供了丰富的块存储产品类型，包括基于分布式存储架构的云盘、共享块存储产品，以及基于物理机本地硬盘的本地盘产品。
    云盘类型：
    ESSD云盘：阿里云全新推出的超高性能云盘产品。基于新一代分布式块存储架构，结合25GE网络和RDMA技术，单盘可提供高达100万的随机读写能力和更低的单路时延能力。
    SSD云盘：具备稳定的高随机读写性能、高可靠性的高性能云盘产品。
    高效云盘：具备高性价比、中等随机读写性能、高可靠性的云盘产品。
    普通云盘：具备高可靠性、一般随机读写性能的云盘产品。
  阿里云共享块存储和本地存储分类
    共享块存储：为防止一个或多个计算节点发生故障而导致业务中断，可以使用共享块存储保证集群对外提供业务访问的持续性和高可用性。
      SSD共享块存储：采用固态硬盘作为存储介质，能够提供稳定的高随机I/O性能和高数据可靠性的存储设备。
      高效共享块存储：采用固态硬盘与机械硬盘的混合介质作为存储介质。
    本地盘：适用于对存储I/O性能、海量存储性价比有极高要求的业务场景。
      NVMe SSD本地盘：搭配使用的实例规格族包括i2、i1、ga1和gn5。其中i1和i2实例规格族适用于以下场景：网络游戏、电商、视频直播、媒体等在线业务。满足I/O密集型应用对块存储的低时延好高I/O性能需求。对存储I/O性能有较高要求，同时具备应用层高可用架构的业务场景，如NoSQL非关系型数据库、MPP数据仓库和分布式文件系统等。
      SATA HDD本地盘：搭配使用的实例规格族包括d1ne和d1。适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业，进行海量数据存储和离线计算的业务场景。充分满足以Hadoop为代表的分布式计算业务类型对ECS实例存储性能、存储容量和内网带宽的多方面要求。
4、阿里云块存储产品的使用
  4.1 阿里云块存储的管理
    阿里云块存储的使用

    块存储的扩容

    块存储的使用限制
      在挂载云盘前，需要了解一下注意事项：
        随实例一起创建的云盘和单独为预付费实例创建的作数据盘用的预付费云盘，不需要执行挂载操作。
        只能挂载作数据盘用的云盘，不需要挂载作系统盘的云盘。
        挂载云盘时，实例必须满足以下条件：
          实例状态必须为运行中（Running）或者已停止（Stopped），不能为已锁定（Locked）。
          实例不欠费。
      挂载云盘时，云盘的状态必须为待挂载（Available）。
      云盘只能挂载到同一地域下同一可用区内的实例上，不能跨可用区挂载。
      一台ECS实例最多能挂载16块云盘作数据盘用，同一时刻，一块云盘只能挂载到一台实例上。
      通过ECS管理控制台上的云盘页面独立创建的云盘能挂载到同一地域下同一可用区的任意实例上（包括预付费和按量付费的实例）。
  4.2 快照的概念
    快照的使用场景

    快照分类
      从创建方式上，快照分为手动快照和自动快照：
      手动快照：手动创建，随时为云盘创建快照，备份数据。
      自动快照：定期任务创建的快照。需要先创建自动快照策略，再将自动快照策略应用到云盘上，ECS会在设置的时间点自动为该云盘创建快照。
      从创建顺序上，快照分为全量快照和增量快照：
      全量快照：云盘首次创建的快照是快照全量。
      增量快照：云盘后续创建的快照均是增量快照。
    服务优势

  4.3 快照的使用
    手动快照创建流程
      在云服务器ECS管理控制台上通过实例页面创建快照的操作路径如下：登录控制台 -> 点击“实例与镜像”-“镜像” -> 选择相应地域 -> 点击实例的“管理”按钮 -> 点击“本实例磁盘”-选择“创建快照”
    手动创建快照注意事项

    创建自动快照
      自动快照策略：登录ECS控制台 -> 选择存储与快照-快照 -> 选择地域 -> 选择自动快照策略 -> 单击右上角创建策略 -> 完成指定规则的策略名称