云存储技术-第10章

分布式计算、云计算与大数据

云存储技术-第10章

---

消息传递

  一个进程发送代表请求的消息，该消息被传送到接受者；接受者处理该请求，并发送一条应答消息。随后，该应答可能触发下一个请求，并导致下一个应答消息。如此不断反复传递消息，实现两个进程间的数据交换。
  基于该范型的开发工具有Socket应用程序接口（Socket API）和信息传递接口（Message Passing Interface，MPI）等。

存储基本知识

存储分类

• 封闭式系统的存储
• 开放式系统的存储
  • 内置存储
  • 外挂存储
    • Direct-Attached Storage直连式存储（DAS）
    • Fabric-Attached Storage网络存储（FAS）
      • Network-Attached Storage网络接入存储（NAS）
      • Storage Area Network存储区域网络（SAN）

  RAID0 ：Striped Disk Array without Fault Tolerance( 没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。
  总容量=(磁盘数量)*(磁盘容量)

  RAID1 ：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。
  总容量=总容量=(磁盘数量 / 2)*(磁盘容量)

  RAID3 (条带分布+专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出xor校验数据存放到校验磁盘上。
  总容量=(磁盘数量 -1)*(磁盘容量)

  RAID5 (条带技术+分布式校验)：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。

  RAID6：能够允许两颗磁盘同时失效的RAID级别系统。
  总容量=(磁盘数 -2)*(磁盘容量)

  RAID10 (镜像阵列条带化)：将镜像和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。
  总容量=(磁盘数 /2)*(磁盘容量)

  RAID50：将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0。
  总容量=(磁盘数 -1)*(磁盘容量)

云存储概念与技术原理

云存储技术分类

  目前业界两种主流云存储技术解决方案：基于虚拟化技术和分布式存储。

• 分布式存储:
  • 分布式块存储
  • 分布式文件存储
  • 分布式对象存储
  • 分布式表存储
• 存储虚拟化：
  • 基于主机的存储虚拟化
  • 基于网络的存储虚拟化
  • 基于存储设备的存储虚拟化

存储类型

• 存储类型
  • 块存储
    • 直接附加存储DAS
    • 存储域网络SAN
      • IP SAN
      • FC SAN
  • 分布式文件存储
    • 网络附加存储NAS
    • Google文件系统GFS
    • Hadoop分布式文件系统
  • 对象存储
    • Swift
    • BC-oNest
    • Amazon S3
  • 表存储
    • 日志详单类存储
    • NoSQL存储
      • BigTable
      • HBase
      • Cassandra
      • Mongodb
    • OLTP关系数据库
    • OLAP数据仓库

对象存储技术

传统块存储与对象存储

  在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置；而在对象存储系统中，对象是数据存储的基本单元，Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性，在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象。

对象的组成

  对象是系统中数据存储的基本单位，每个Object是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。

对象存储系统组成

• 对象(Object)
  • 包含了文件数据以及相关的属性信息，可以进行自我管理。
• OSD（Object-based Storage Device)
  • 一个智能设备，是Object的集合。
• 文件系统
  • 文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上
• 元数据服务器(Metadata Server，MDS)
  • 系统提供元数据、Cache一致性等服务 。
• 网络连接
  • 网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来，构成了一个完整的系统。

存储技术趋势

数据优化技术将成为热点

• 存储虚拟化
  • 存储虚拟化是目前以及未来的存储技术热点，它其实并不算是什么全新的概念，RAID、LVM、SWAP、VM、文件系统等这些都归属于其范畴。
  • 存储的虚拟化技术有很多优点，比如提高存储利用效率和性能，简化存储管理复杂性，绿色节省，降低运营成本等。
  • 目前最新的存储虚拟化技术有自动分级存储（HSM）、自动精减配置（Thin provision）、云存储（Cloud storage)、分布式文件系统(Distributed file system)，另外还有诸如动态内存分区、SAN和NAS虚拟。
  • 虚拟化可以柔性地解决不断出现的新存储需求问题，因此我们可以断言存储虚拟化仍将是未来存储的发展趋势之一 。