第十二章 大容量存储系统

分层的存储架构

 智能时代，数据增长的速度将超过摩尔定理
 存储场景
 全世界总人口超过73亿，亚洲总人口超过 40亿。
 互联网用户超过40亿;70亿手机用户。
 2016年全球数据总量12ZB，预计到2020年将到达44ZB(相当于全球每人5.2TB ) ，2025年甚至达到163ZB。
 所有数据中约42%是重复的（至少重复一次）。
 所有数据中约33%是压缩的（2次）。
 所有数据中约5%是瞬态的（临时的）。
 所有数据中7%是非结构化结构（很难浏览）。

12.1 大容量存储结构概述

分层存储体系

Magnetic disks（磁盘）提供现代计算机的大量二次存储空间
驱动器以每秒60到200次的速度旋转
传输速率是驱动器和计算机之间数据流的速率
定位时间（随机访问时间）是将磁盘臂移动到所需圆筒的时间（查找时间）和期望扇区在磁盘头下旋转的时间（旋转延迟）
头部崩溃是由于磁盘头接触到磁盘表面
这是不好的
磁盘可以移动
驱动器通过I/O总线连接到计算机
总线各不相同，包括EIDE、ATA、SATA、USB、光纤通道、SCSI
计算机中的主机控制器使用总线与内置于驱动器或存储阵列中的磁盘控制器进行通信
 固态硬盘（Solid State Drives），简称固盘，固态硬盘用固态电子存储芯片阵列制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。
 第一只SSD出现在1978年（STK 4305，每MB售价8800美元，DRAM）。
 全闪存阵列（AFAS）和混合闪存阵列（HFA）呈爆发式增长。
 现在SSD的容量是15.36TB（SAS）。
 非易失性、低功耗（只有HDD的三分之一）。
 无活动部件、可靠性高――位误码率（BER）1 x 1017
 读取存取时间：0.2毫秒，存取时间比HDD大概快 50倍。
Magnetic tape （磁带）
 出货的磁带驱动器中超过85%是LTO（Linear Tape Open）。
 磁带驱动器的可靠性、数据传输速率和容量已超过磁盘。
 磁带的原生容量为10TB，压缩容量超过25TB。(LTO-10:48TB)
 磁带的原生数据传输速率为360MB/s。
 LTFS(Liner Tape File System)为磁带提供了一种通用、开放的文件系统。
 由于总体拥有成本，云采用磁带解决方案用于归档服务。
 对企业级磁带和LTO而言，磁带介质的寿命至少是30年。

12.2磁盘结构

磁盘驱动器被处理为大的一维逻辑块数组，其中逻辑块是最小的传输单位
逻辑块的大小通常为512个字节
逻辑块的一维数组按顺序映射到磁盘的扇区中
扇区0是最外层圆柱体上第一个轨道的第一个扇区
映射按顺序通过该轨道，然后是圆柱体中的其余轨道，然后是圆柱体的其余轨道，从最外层到最内层

移动头磁盘机构

主机连接的存储

通过与I/O总线通信的I/O端口访问主机连接的存储
I/O总线类似IDE
每个输入/O总线最多有2个驱动器
SCSI本身是一个总线，在一根电缆上最多16个设备，SCSI启动器请求操作和SCSI目标执行任务
每个目标最多可以有8个逻辑单元(磁盘连接到设备控制器
FC（Fibre Channel，光纤通道）是高速串行体系结构
可以使用24位地址空间交换结构——存储区域网络（SAN）的基础，其中许多主机连接到多个存储单元
可为126个设备的仲裁环路（FC-AL）

网络连接存储

网络连接存储（NAS）是通过网络而不是通过本地连接（如总线）提供的存储
NFS和CIFS是常见的协议
通过主机和存储之间的远程过程调用（RPCs）实现
新的iSCSI协议使用IP网络来承载SCSI协议

存储区域网络（SAN）

在大型存储环境中很常见（并且会变得越来越常见）
多个主机连接到多个存储阵列-灵活的

存储虚拟化技术

 SNIA（Storage Networking Industry Association，存储网络联合会）官方对于Virtualization（存储虚拟化技术）的定义，如下：
 是将存储（子）系统内部功能与具体应用、主机及通用网络资源分离、隐藏及抽象的行为。以期达到存储或数据管理的网络无关性。
 对于存储服务及设备的虚拟化应用，以期达到整合设备功能、隐藏复杂细节以及向已经存在的底层存储资源添加新的应用。

12.4磁盘调度

操作系统负责有效地使用硬件——对于磁盘驱动器，这意味着具有快速的访问时间和磁盘带宽
访问时间有三个主要组成部分
Seek time（寻道时间）是磁盘移动到包含所需扇区的圆柱体的时间
Rotational latency（旋转延迟）是等待磁盘将所需的扇区旋转到磁盘头的额外时间
Transfer time（传输时间）
最小化查找时间
Seek time 约等于 seek distance 寻道时间 约等于 寻道距离
磁盘带宽是传输的总字节数，除以第一次请求服务和最后一次传输完成之间的总时间

数据计算

 7200(转／每分钟)的硬盘，每旋转一周所需时间为60×1000（毫秒）÷7200＝ 8.33毫秒，
则平均旋转延迟时间为8.33÷2＝4.17毫秒(平均情况下，需要旋转半圈)。
 7200转机械硬盘的寻道时间一般为12-14毫秒，固态硬盘可以达到0.1毫秒甚至更低。
 固态硬盘持续读写速度超过500MB/s
 机械硬盘读写速度超过50~200MB/s（接口不同）
 磁带的原生数据传输速率为360MB/s。
存在几种算法来调度磁盘I/O请求的服务
常用的磁盘调度算法有：先来先服务(FCFS)、最短寻道时间优先(SSTF)、扫描(SCAN)算法和循环扫描(C-SCAN)算法等
我们用一个请求队列（0-199）来说明它们
98, 183, 37, 122, 14, 124, 65, 67
头部指针53

FCFS 先来先服务

图中显示了640个气缸的总头部运动

SSTF 最短寻道时间优先

从当前磁头位置选择具有最小搜索时间的请求
SSTF（最短寻道时间优先）调度是SJF调度的一种形式；可能会导致某些请求的饥饿
图中显示了236个气缸的总头部运动

SCAN扫描

磁盘臂从磁盘的一端开始，并向另一端移动，服务请求，直到它到达磁盘的另一端，在那里磁头运动反转并继续服务。
扫描算法有时被称为电梯算法
图中显示了236个气缸的总头部运动

C-SCAN

提供了比SCAN更统一的等待时间
磁头从磁盘的一端移动到另一端，为请求提供服务
然而，当它到达另一端时，它会立即返回到磁盘的开始位置，而不服务于回程中的任何请求
将圆柱体视为一个圆形列表，从最后一个圆柱体环绕到第一个圆柱体
382个气缸的总头部运动

LOOK-- Version of SCAN

total head movement of 208 cylinders

C-LOOK

Version of C-SCAN
Arm只可以到达每个方向上的最后一个请求，然后立即反向移动方向，而不首先一直移动到磁盘的末端

选择一个磁盘调度算法

SSTF很常见，具有很自然的吸引力
SCAN和C-SCAN对于在磁盘上放置大量负载的系统性能更好
性能取决于请求的数量和类型
对磁盘服务的请求可能会受到文件分配方法的影响
磁盘调度算法应该被写成操作系统的一个单独模块，允许在必要时用不同的算法替换它
SSTF或LOOK都是默认算法的合理选择

12.5磁盘管理

Low-level formatting（低级格式化）或物理格式—将磁盘划分为磁盘控制器可以读取和写的扇区
要使用磁盘来保存文件，操作系统仍然需要在磁盘上记录它自己的数据结构
将磁盘划分为一个或多组圆柱体
Logical formatting （逻辑格式化）or “making a file system”
为了提高效率，大多数文件系统会将块分组到集群中

Boot Block 启动块

引导块初始化系统
引导程序存储在ROM中
引导加载程序
典型引导顺序
ROM中的代码（简单的引导程序）
引导块中的代码（完全引导）
引导加载程序，例如Grub或LILO
整个操作系统的内核

Bad Block 坏块

磁盘经常有有缺陷的块或坏的块
坏块的处理方法
MS-DOS的处理方法: format,chkdsk命令

从Windows 2000中的磁盘上启动

12.6交换空间管理

交换空间——虚拟内存使用磁盘空间作为主存的扩展

4.3BSD在进程启动时分配交换空间；保留文本段（程序）和数据段
内核使用交换映射来跟踪交换空间的使用情况
Solaris 2只在页面被迫退出物理内存时分配交换空间，而不是在第一次创建虚拟内存页面时分配交换空间

在Linux系统上交换的数据结构

12.7 RAID结构

RAID ：Redundant Arrays of Inexpensive (independent) Disks（冗余廉价磁盘阵列） .RAID是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据备份技术。
廉价->独立
RAID-多个磁盘驱动器通过冗余来提供可靠性
增加发生故障的平均时间
经常与NVRAM结合，以提高写性能
RAID被分为六个不同的级别（较早）
磁盘使用技术中的几个改进涉及到使用多个磁盘协同工作
Disk striping（条带化）使用一组磁盘作为一个存储单元
RAID方案通过存储冗余数据来提高存储系统的性能和可靠性
Mirroring（镜像）或shadowing（RAID 1）保留每个磁盘的副本
条纹镜像（RAID 1+0）或镜像条纹（RAID 0+1）提供高性能和高可靠性
块交错奇偶校验(RAID 4、5、6）使用的冗余更少
如果阵列发生故障，存储阵列中的RAID仍然可能失败，因此在阵列之间自动复制数据是很常见的
通常，少量热备用磁盘未分配，自动替换故障磁盘并重新构建数据

RAID级别

RAID（0 + 1）和（1 + 0）

延伸

仅使用RAID并不能防止或检测数据损坏或其他错误，而只能检测磁盘故障
Solaris ZFS添加了所有数据和元数据的校验和
用对象指针保存的校验和，以检测对象是否正确以及是否更改
可以检测和纠正数据和元数据损坏吗
ZFS还将删除卷、分区
磁盘在池中被分配
具有池的文件系统共享该池、使用和释放空间，如“malloc”和“空闲”内存分配/释放调用

ZFS校验和了所有的元数据和数据

传统和汇集存储