网络存储技术

---

前言

信息在网络中的传输，需要借助数据作为载体，那么信息和数据的关系是什么，数据存储的作用是什么？本章主要介绍在计算机领域信息和数据的定义，以及它们之间的关系，数据存储的概念、发展历史和发展趋势。`

---

一、HCIA 存储技术趋势与智能存储组件

1.1存储技术趋势

数据与信息：数据和信息之间是相互联系的。数据是反映客观事物属性的记录，是信息的具体表现形式。数据经过加工处理之后，就成为信息；而信息需要经过数字化转变成数据才能存储和传输。接收者对信息识别后表示的符号称为数据。数据的作用是反映信息内容并为接收者识别。声音、符号、图像、数字就成为人类传播信息的主要数据形式。因此，信息是数据的含义，数据是信息的载体。

数据存储：

数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征;数据存储反映系统中静止的数据，表现出静态数据的特征。

存储技术的发展：甲骨文、造纸术、书本、盘式磁带、软盘、硬盘、RAID。

存储架构的发展：

存储介质的发展：

接口协议的发展：

存储产品的发展：

1.2智能存储组件

1.控制框：
控制框是承载了控制器的机框，对外提供存储服务，他 是存储系统中的核心组件，主要有系统插框、控制器、BBU模块、电源模 块、管理模块和接口模块组成。

(1) 控制器：控制器（Ctrl）：存储系统中承载业务处理的核心模块

(2) BBU模块和风扇模块
BBU模块：能够在系统外部供电失效的情况下，提供后备电 源支持，以保证存储阵列中业务数据的安全性。
(3) 电源模块（psu，Power supply Unit）：电源模块为交流电源模块，可以支持控制框在最 大功率模式下正常运行。
(4) 管理模块：主要提供管理接口，包括管理网口、串口、维护 网口
(5) 接口模块：IM,承载业务或管理接口的现场科跟换模块

2.硬盘框

3.级联模块

每个级联模块提供一个一级级联端口‘PO’和一个 一级级联端口‘P1’，级联模块通过级联端口来级 联控制框和硬盘框之间的通信。是双方间数据传 输的节点。

4.硬盘

硬盘类型：机械硬盘、固态硬盘
机械硬盘

(1) 盘片：盘片被磁性材料覆盖，盘片上的磁性粒子被极化 以表示一个二进制信息单元
(2) 读/写磁头：负责向盘片读取和写入数据。通过磁头改变盘片 表面上极细微的磁性粒子族的NS极性加以存储
(3) 磁头臂：带动读、写磁头，将磁头移动到指定的位置
(4) 主轴：马达电机和轴承在其下方，转动盘片，将盘片上的指定位置移动到读、写磁头下
(5) 控制电路：控制磁盘的速度、磁头臂的移动、向磁头下发命令等

硬盘上的数据组织：

(1) 盘面：每个盘面都有两个盘面，每个盘面都能存储数 据，成为有效盘片
(2) 磁道（Track）：磁道是在盘片上围绕在主轴周围的同心环，数据 被记录在磁道上
(3) 柱面（Cylinder）：同一个盘片中所有盘面（包含上下两个盘面）具 有相同编号的磁道形成一个圆柱，称之为硬盘的 柱面
(4) 扇区：每个磁道被分为更小的单元，称为扇区，划分扇 区的目的是为了是数据存储更加条理化。扇区是 硬盘中可以单独寻址的最小存储单元

6.硬盘容量和缓存

硬盘可以分为单碟盘和多碟盘，前者在盘体内只 有一张盘片，后者则有多张但是银盘每时每刻只 允许一个磁头读写数据，因此盘片和磁头再多， 也不能提高硬盘的吞吐量和10性能，只能用来提 高容量

影响硬盘性能的因素

(1) 转速：影响硬盘连续IO时吞吐量性能的首要因素，硬盘盘片 、盘片转动圈数，单位 rpm
(2) 寻道速度：①影响硬盘随机IO性能的首要因素
②随机10情况下，磁头臂需要频繁更换磁道，用于 数据传输的时间远小于用于换道消耗的时间。

平均访问时间：

(1) 平均寻道时间(Average Seek Time)：指硬盘的磁头从初始位置移动到盘面指定磁道所 需要的时间，是影响硬盘内部势据传能速率的重 要参数
(2) 平均等待时间(Average Latency Time)：指磁头已处于要访问的磁道，等待需要访问的扇 区旋转至磁头下方的时间。

数据传输速率

(1) 内部传输速率(Internal Transfer Rate)：①内部传输速率 也称为 持续传输率(Sustained Transfer Rate)，指磁头读写硬盘时的最高速 率。
②进行一种理想情况的假设，磁头读写时不需要换 道，也不用专门读取某一个扇区，只在一个磁道 上连续的读写这个磁道的所有扇区 外部传输速率
(2) 外部传输速率(External Transfer Rate)

磁盘的IOPS和传输带宽

(1) IOPS：①IOPS (Input/Output Per Second)指每秒的输入 输出量(或读写次数)、是衡量硬盘性能的 主要指标之一。
②IOPS的计算：由寻道时间、旋转延迟和数据传输 时间三部分组成

• 寻道时间：寻道时间越短，/0操作越快，目前硬盘平均寻道 时间一般在3-15ms
• 旋转延迟：盘片旋转将请求数据所在扇区转移至读写磁头下 方所需要的时间。
• 数据传输时间：完成传输所请求的数据所需要的时间

(2) 传输带宽(Throughput吞吐量)：指单位时间内成功传输的数据数量，即传输数据 流的速度。例如写入10000个1KB的文件需要 10s，则此时传输带宽只达1MB/s；若写入一个 10MB的文件用了0.1s，则此时的传输带宽为 100MB/s。

并行传输和串行传输

(1) 并行传输：①并行传输传输效率高，但是传输距离不长，传输 频率不高
②在长距离上，使用多条线路要比使用单一线路要 昂贵
③长距离传输要求较粗的导线，以便降低信号的衰减，但把他们(传输信号)据到一条单独电缆中相 当困难长距离传输时，受导线电阻或其他因素影 响，每条线上的数据到达对方的速度不同，从而 导致接收方必须等8条线上的所有数字都到达之 后，才能发起下一轮的传输
④传输频率太高时，电路告诉震荡的时候，数据线 之间会产生很大的干扰，因此并行传输的时候频 率不能太高。

(2) 串行传输：①串行传输在效率上显然比并行传输低得多，但是 可以通过提高传输频率来提升串行传输的传输速 度，总体来说串行传输反而比并行传输的总体速 率更快
②串行传输用于远距离传输，目前如PCI接口都转 向串行传输方式。PCIE接口就是典型的串行传输 方式，其单条线路的传输方式高达2.5GB/S

固态硬盘

SSD特点：①使用flash技术存储信息，数据传输速度比HDD快
②内部没有机械结构因此耗电量更小、散热小、噪音小 ③SSD盘使用寿命受擦写次数影响

二、虚拟化与网络存储技术

2.1虚拟化技术

2.1.1虚拟化技术的分类

虚拟化技术的分类

(1) CPU虚拟化：CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程，通过这些指令集，VMM会很容易提高性能。

(2) 服务器虚拟化：服务器虚拟化能够通过区分资源的优先次序，并随时随地将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。
(3) 存储虚拟化：虚拟存储设备需要通过大规模的raid子系统和多个I/O通道连接到服务器上，智能控制器提供LUN访问控制、缓存和其他如数据复制等管理功能。
(4) 网络虚拟化：网络虚拟化整合后的设备组成了一个逻辑单元，在网络中表现为一个网元节点，管理简单化、配置简单化、可跨设备链路聚合，极大简化网络架构，同时进一步增强冗余可靠性。
(5) 应用虚拟化：应用虚拟化通常包括两层含义，一是应用软件的虚拟化，一是桌面的虚拟化。

2.1.2 XEN虚拟化技术

XEN虚拟化技术的优缺点：

1.Xen虚拟化技术的优点：

(1) Xen构建于开源的虚拟机管理程序上，结合使用半虚拟化和硬件协助的虚拟化。操作系统与虚拟化平台之间的这种协作支持开发一个较简单的虚拟机管理程序来提供高度优化的性能。

(2) Xen提供了复杂的工作负载均衡功能，可捕获CPU、内存、磁盘I/O和网络I/O数据，它提供了两种优化模式：一种针对性能，另一种针对密度。
(3) Xen利用一种名为Citrix Storage Link 的独特的存储集成功能。使用Citrix Storage Link，系统管理员可直接利用来自HP、Dell Equal Logic、NetApp、EMC等公司的存储产品。
(4) Xen包含多核处理器支持、实时迁移、物理服务器到虚拟机转（P2V）和虚拟到虚拟转换（V2V）工具。集中化的多服务器管理、实时性能监控，以及Windows和Linux的快速性能。

2.Xen虚拟化技术的缺点：
(1) Xen会占用相对较大的空间，且依赖于0号虚拟机中的Linux操作系统。
(2) Xen依靠第三方解决方案来管理硬件设备驱动程序、存储、备份和恢复，以及容错 任何具有高I/O速率的操作或任何会吞噬资源的操作都会使Xen陷入困境，使其他虚拟机缺乏资源。
(3) Xen缺少802.1Q 虚拟局域网（VLAN）中继，出于安全考虑，它没有提供目录服务集成、基于角色的访问控制、安全日志记录和审计或管理操作。
(4) Xen目前最大的困难在于Linux内核社区的抵制，导致XEN相关的内核改动一直不能顺利进入内核源代码，从而无法及时得到内核最新开发成果的支持。

2.1.3KVM虚拟化技术

1.KVM 虚拟化技术的优势
(1) 开源：KVM 一个开源项目，这就决定了KVM一直是开放的姿态，许多虚拟化的新技术都是首先在KVM上应用，再到其他虚拟化引擎上推广。
(2) 性能：KVM吸引许多人使用的一个动因就是性能，在同样的硬件条件下，能提供更好的虚拟机性能，主要是因为KVM架构简单，代码只有2万行，一开始就支持硬件虚拟化，这些技术特点保证了KVM的性能。
(3) 免费：KVM因为是开源项目，绝大部分KVM的解决方案都是免费方案，随着KVM的发展，KVM虚拟机越来越稳定，兼容性也越来越好，因而也就得到越来越多的应用。
(4) 技术支持：免费并不意味着KVM没有技术支持。在KVM的开源社区，数量巨大的KVM技术支持者都可以提供KVM技术支持。另外，如果需要商业级支持，也可以购买红帽公司的服务。

2.特性：内存管理；存储；设备驱动程序；Linux的性能和可伸缩性。

2.1.4 红帽RHEV虚拟化

RHEV虚拟化技术的优缺点

1.RHEV虚拟化技术的优点：
(1)性能和可扩展性：为实现企业级的虚拟化应用程序，如Oracle、SAP和Microsoft Exchange，为其提供领先的性能和可扩展性。
(2)安全性：业界领先的安全性，在安全增强型红帽企业Linux内核基础上构建。
(3)企业功能：业虚拟化管理功能，包括实时迁移、高可用性、负载均衡、节能等。
(4)灵活性：通过消除桌面操作系统和基础硬件之间的依赖性，实现业务灵活性和连续性。
(5)成本优势：与其他解决方案相比较，凭借红帽软件订阅模式的强大功能，能够以更低的购置和总拥有成本获得相同或更好的功能集，从而获得收益。

2.RHEV虚拟化技术的缺点：
(1)技术不成熟：KVM的出现不过三四年时间，在可用资源、平台支持、管理工具、实施经验方面当然不能与出现8年之久的Xen相比。
(2)需要Windows支持；KVM3.0之前的RHEV-M管理程序需要Windows支持，这是KVM在部署过程中最大的障碍，RedHat公司已经意识到这个问题的严重性，从KVM3.0开始，开发出基于Linux的RHEV-M，取消了其只能运行于Windows服务器上的尴尬，这一改动得到大量Linux用户的支持。
(3)管理的物理服务器数量少，每台M端只能管理500台以内的H端服务器。

2.1.5 其他虚拟化技术介绍

1.VMware
VMware公司创办于1998年，从公司的名称就可以看出，这是一家专注于提供虚拟化解决方案的公司。VMware公司很早就预见到了虚拟化在未来数据中心中的核心地位，有针对性的开发虚拟化软件，从而抓住了21世纪初虚拟化兴起的大潮，成为了虚拟化业界的标杆。下面是VMware主要产品的简单介绍。

(1) VMware Workstation
VMware Workstation是VMware公司销售的运行于台式机和工作站上的虚拟化软件，也是VMware公司第一个面市的产品（1999年5月）。该产品最早采用了VMware在业界知名的二进制翻译技术，在x86 CPU硬件虚拟化技术还未出现之前，为客户提供了纯粹的基于软件的全虚拟化解决方案。

(2) VMware ESX Server
ESX服务器（一种能直接在硬件上运行的企业级的虚拟平台），虚拟的SMP，它能让一个虚拟机同时使用四个物理处理器，和VMFS一样，它能使多个ESX服务器分享块存储器。
2. Virtual Box
Oracle VirtualBox是由德国InnoTek软件公司出品的虚拟机软件，现在由甲骨文公司进行开发，是甲骨文公司xVM虚拟化平台技术的一部分。它提供使用者在32位或64位的Windows、Solaris及Linux操作系统上虚拟其他X86的操作系统。使用者可以在VirtualBox上安装并执行Solaris、Windows、DOS、Linux、OS/2 Warp、OpenBSD及FreeBSD等操作系统作为客户端操作系统。最新的VirtualBox还支持运行Android4.0系统。
3. Hyper-V
Hyper-V是微软提出的一种系统管理程序虚拟化技术。Hyper-V设计的目的是为广泛的用户提供更为熟悉及成本效益更高的虚拟化基础设施软件，这样可以降低运作成本、提高硬件利用率、优化基础设施并提高服务器的可用性。

Hyper-V的设计借鉴了Xen，采用微内核的架构，兼顾了安全性和性能的要求。Hyper-V底层的Hypervisor运行在最高的特权级别下，微软将其称为ring-1（而Intel也将其称为root mode），而虚拟机的操作系统内核和驱动运行在ring0，应用程序运行在ring3。

2.2Qemu-KVM

2.2.1 KVM原理简介

KVM模块
KVM模块是KVM虚拟机的核心部分。其主要功能是初始化CPU硬件，打开虚拟化模式，然后将虚拟客户机运行在虚拟机模式下，并对虚拟客户机的运行提供一定的支持。

KVM模块加载之初，只存在/dev/kvm文件，而针对该文件的最重要的IOCTL调用就是“创建虚拟机”。在这里，“创建虚拟机”可以理解成KVM为了某个特定的虚拟客户机（用户空间程序创建并初始化）创建对应的内核数据结构。

处理器对设备的访问主要是通过IO指令和MMIO，其中IO指令会被处理器直接截获，MMIO会通过配置内存虚拟化来捕捉。但是，外设的模拟一般并不由KVM模块负责。一般来说，只有对性能要求比较高的虚拟设备才会由KVM内核模块来直接负责，比如虚拟终端控制器和虚拟时钟，这样可以大量减少处理器的模式切换的开销。

2.2.2 Qemu原理介绍

1.Qemu模块
QEMU本身并不是KVM的一部分，其自身就是一个著名的开源虚拟机软件。与KVM不同，QEMU虚拟机是一个纯软件的实现，所以性能地下。但是，其优点是在支持QEMU本身编译运行的平台上就可以实现虚拟机的功能，甚至虚拟机可以与宿主机并不是同一个架构。作为一个存在已久的虚拟机，QEMU的代码中有整套的虚拟机实现，包括处理器虚拟化、内存虚拟化，以及KVM使用到的虚拟设备模拟（比如网卡、显卡、存储控制器和硬盘等）。

从QEMU和KVM模块之间的关系可以看出，这是典型的开源社区在代码共用和开发项目共用上面的合作。诚然，QEMU可以选择其他的虚拟机或技术来加速，比如Xen或者KQEMU；KVM也可以选择其他的用户空间程序作为虚拟机实现，只要它按照KVM提供的API来设计。但是在现实中，QEMU与KVM两者的结合是最成熟的选择，这对一个新开发和后起的项目（KVM）来说，无疑多了一份未来成功的保障。

2.Qemu的三种运行模式
（1）第一种模式是通过kqemu模块实现内核态的加速。
（2）第二种模式是在用户态直接运行QEMU，由QEMU对目标机的 所有 指令进行翻译后执行，相当于全虚拟化。
（3）第三种模式则是KVM官方提供的kvm-qemu加速模式。

3.Qemu的特点
（1）QEMU的两种操作模式：完整的系统仿真和用户模式仿真。
（2）QEMU具有以下特点：
① QEMU可以在没有主机内核驱动程序的情况下运行。
② 它适用于多种操作系统（GNU / Linux，* BSD，Mac OS X，Windows）和体系结构。
③ 它执行FPU的精确软件仿真。

（3）QEMU用户模式仿真具有以下功能：
① 通用Linux系统调用转换器，包括大部分ioctls。
② 使用本机CPU clone的仿真为线程使用Linux调度程序。
③ 通过将主机信号重新映射到目标信号来实现精确信号处理。

（4）QEMU全系统仿真具有以下特点：

① QEMU使用完整的软件MMU来实现最大的便携性。
② QEMU可以选择使用内核加速器，如kvm。加速器本地执行大部分客户代码，同时继续模拟机器的其余部分。
③ 可以仿真各种硬件设备，并且在某些情况下，客户机操作系统可以透明地使用主机设备（例如串行和并行端口，USB，驱动器）。主机设备传递可用于与外部物理外围设备（例如网络摄像头，调制解调器或磁带驱动器）交谈。
④ 对称多处理（SMP）支持。目前，内核加速器需要使用多个主机CPU进行仿真。

2.2.3 Qemu工具介绍

1.KVM和Qemu的关系
Qemu是一个独立的虚拟化解决方案，通过intel-VT 或AMD SVM实现全虚拟化，安装qemu的系统，可以直接模拟出另一个完全不同的系统环境。QEMU本身可以不依赖于KVM，但是如果有KVM的存在并且硬件(处理器)支持比如Intel VT功能，那么QEMU在对处理器虚拟化这一块可以利用KVM提供的功能来提升性能。

KVM是集成到Linux内核的Hypervisor，是X86架构且硬件支持虚拟化技术（Intel-VT或AMD-V）的Linux的全虚拟化解决方案。它是Linux的一个很小的模块，利用Linux做大量的事，如任务调度、内存管理与硬件设备交互等。准确来说，KVM是Linux kernel的一个模块。

2.Qemu工具介绍
(1) qemu-img
qemu-img是QEMU的磁盘管理工具，在qemu-kvm源码编译后就会默认编译好qemu-img这个二进制文件。qemu-img也是QEMU/KVM使用过程中一个比较重要的工具。

check [-f fmt] filename
对磁盘镜像文件进行一致性检查，查找镜像文件中的错误，目前仅支持对“qcow2”、“qed”、“vdi”格式文件的检查。

create [-f fmt] [-o options] filename [size]
创建一个格式为fmt大小为size文件名为filename的镜像文件。

commit [-f fmt] [-t cache] filename
提交filename文件中的更改到后端支持镜像文件（创建时通过backing_file指定的）中去。

convert [-c] [-p] [-f fmt] [-t cache] [-O output_fmt] [-o options] [-s snapshot_name] [-S sparse_size] filename [filename2 […]] output_filename
将fmt格式的filename镜像文件根据options选项转换为格式为output_fmt的名为output_filename的镜像文件。

(2) qemu-kvm
此命令用于创建虚拟机，其使用格式为“qemu-kvm [options] [disk_image]”，其选项非常多，大致可分为如下几类：
qemu-kvm的标准选项
该选项主要涉及指定主机类型、CPU模式、NUMA、软驱设备、光驱设备及硬件设备等。

qemu-kvm的显示选项
该选项主要用来配置虚拟机的显示状态。

网络属性相关选项：
该选项用来配置虚拟机的网络信息。

(3) qemu-ga
qga是一个运行在虚拟机内部的普通应用程序（可执行文件名称默认为qemu-ga，服务名称默认为qemu-guest-agent），其目的是实现一种宿主机和虚拟机进行交互的方式，这种方式不依赖于网络，而是依赖于virtio-serial（默认首选方式）或者isa-serial，而QEMU则提供了串口设备的模拟及数据交换的通道，最终呈现出来的是一个串口设备（虚拟机内部）和一个unix socket文件（宿主机上）。

qga通过读写串口设备与宿主机上的socket通道进行交互，宿主机上可以使用普通的unix socket读写方式对socket文件进行读写，最终实现与qga的交互，交互的协议与qmp（QEMU Monitor Protocol）相同（简单来说就是使用JSON格式进行数据交换），串口设备的速率通常都较低，所以比较适合小数据量的交换。

(4) qemu-io
这是一个执行 Qemu I/O 操作的命令行工具，可以对qemu-img创建的镜像进行I/O测试，其帮助文档为，使用格式为qemu-io [-h] [-V] [-rsnm] [-c cmd] … [file]，下面是常用的选项：
① -c, --cmd：执行指令；
② -r, --read-only：设置出口为只读模式；
③ -s, --snapshot：使用快照文件进行测试；
④ -n, --nocache：禁用主机缓存；
⑤ -k, --native-aio：使用内核AIO实现（仅在Linux上）；
⑥ -t, --cache=MODE：对image使用指定的缓存模式。

(5) qemu-nbd
qemu-nbd在有的系统上叫kvm-nbd，qemu-nbd-xen等。基本上都一样。用qemu-nbd实现mount虚拟硬盘到Host上的功能。
网络块设备: Network Block Device。可以将一个远程主机的磁盘空间，当作一个块设备来使用，就像一块硬盘一样。使用它，可以很方便的将另一台服务器的硬盘空间增加到本地服务器上。
NBD与NFS有所不同，NFS只是提供一个挂载点供客户端使用，客户端无法改变这个挂载点的分区格式。而NBD提供的是一个块设备，客户端可以把这个块设备格式化成各种类型的分区，更便于用户的使用。

2.2.4 Qemu支持的磁盘格式介绍

1.qemu-nbd
qemu-img支持非常多种的文件格式，我们可以通过“qemu-img --help”查看帮助文档得到，它支持二十多种格式：vvfat、vpc、vmdk、vhdx、vdi、ssh、sheepdog、rbd、raw、host_cdrom、host_floppy、host_device、file qed、qcow2、qcow、parallels、nbd、iscsi、gluster、 dmg、tftp、ftps、ftp、https、http、cloop、bochs、blkverify、blkdebug。
2. 常用的文件格式
(1) raw
raw格式是简单的二进制镜像文件，一次性会把分配的磁盘空间占用。
(2) host_device
在需要将镜像转化到不支持空洞的磁盘设备时需要用这种格式来代替raw格式。
(3) qcow2
qcow2是QEMU目前推荐的镜像格式，它是功能最多的格式。
(4) qcow
较旧的QEMU镜像格式，现在已经很少使用了，一般用于兼容比较老版本的QEMU。它支持backing_file（后端镜像）和encryption（加密）两个选项。
(5) cow
copy-on-write format，写时复制格式。曾经qemu的写时拷贝的镜像格式，目前由于历史遗留原因不支持窗口模式，后来被qcow格式所取代。
(6) vdi
兼容Oracle（Sun）VirtualBox1.1的镜像文件格式（Virtual Disk Image）。
(7) vmdk
VMDK（VMWare Virtual Machine Disk Format）是虚拟机VMware创建的虚拟硬盘格式，文件存在于VMware文件系统中，被称为VMFS（虚拟机文件系统）。
(8) vpc
兼容Microsoft的Virtual PC的镜像文件格式（Virtual Hard Disk format）。
(9) sheepdog
Sheepdog项目是由日本的NTT实验室发起的，为QEMU/KVM做的一个开源的分布式存储系统，为KVM虚拟化提供块存储。
(10) cloop
压缩的loop格式，主要用于可直接引导优盘或者光盘的一种镜像格式。

总结