【网络存储技术】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

随着技术的不断发展，网络存储这门技术也越来越重要，很多人都开启了学习，本文就介绍了网络存储的基础内容。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、智能存储组件

1、控制框

1.1形态：

采用部件模块化设计，①系统插框②控制器③BBU模 块④电源模块⑤管理模块⑥接口模块等组成

1.2控制器：设备中的核心部件

作用：①处理存储业务②接收用户的配置管理命令③保存配置信息④接入硬盘⑥保存关键信息到保险箱硬盘。

1.3保险箱盘

①存存储系统的数据②系统配置信息和日志③系统掉电后Cache中的数据

1.4BBU模块

①给保险箱盘供电和raid内存供电②给阵列缓存供电③缓存不掉电，数据不丢失

2、硬盘框

2.1形态：

①部件模块化设计②系统插框③级联模块④电源模块⑤硬盘模块

3、级联模块

3.1级联模块

作用：实现多台交换机之间的互连

3.2设备线缆

作用：控制安装、连接设备、输送电力等多重作用

4、硬盘

4.1机械硬盘

4.1.1组成：

盘片、磁头臂、读/写磁头、主轴、硬盘接口和控制电路

4.1.2工作原理：

磁头可沿盘片的半径方向运动，加上盘片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置上进行数据的读写操作

4.2固态硬盘

4.2.1优势：

性能、可靠性、能耗、轻便性方面

4.2.2特点：

①flash技术存储信息，数据传输速度快②耗电量更小、散热小、噪音小③使用寿命受擦写次数影响

4.2.3架构：

控制单元和存储单元

4.3影响性能因素：

①转速②寻道速度③单碟容量④接口速度

5、接口模块

作用：
①用于主机架扩展②促进和优化接线操作③电子设备连接到处于控制级别的电
气系统

二、HCIA 存储技术趋势

1、数据与信息

1.1什么是数据

数据是对所有事物的数字表示

1.2数据的种类

①数据结构化②半结构数据化③非结构化数据

1.3数据的处理周期

数据处理是人或机器对数据进行的重组或重新排序，以增加其特定的价值、数据处理包扩以下基本步骤：输入、处理、输出、

1.4什么是信息

① 信息是已经被处理、具有逻辑关系的数据，是对数据的解释
② 信息是经过处理的数据，其中包括具有上下文，相关性和目的的数据

1.5数据与信息的关系

①数据处理加工处理之后，能够成为信息；
②而信息需要经过数字化转变成数据才能存储和传输。

1.6信息生命周期

是指从信息生产和初期储存阶段到最后过时被删减是的一套综合管理信息

2、数据存储

2.1什么是数据存储

2.2数据存储系统

2.3存储的物理结构

2.4数据存储分类

2.5数据管理技术的演变

2.6数据存储的应用

3、存储技术的发展

3.1存储架构历程

3.1.2从硬盘到磁盘阵列

3.1.3从分离到融合

3.1.4分布式存储

①通过软件将物理资源组织起来构成高性能逻辑存储池，在保证可靠性的同时提供多种存储服务。
②分布式存储是将数据分散存储在多太独立的设备上，采用可扩张的系统结构、利用多台存储服务器分担存储负荷、利用位置服务器定位存储信息

3.1.5存储虚拟化

①将设备进行抽象，以逻辑资源的方式呈现，提供全面的存储服务
②在不同的存储形态或设备类型之间提供统一的功能

3.1.6云存储

3.2存储介质的发展

3.2.1机械硬盘发展简史

3.2.2固态硬盘发展简史

3.2.3内存介质发展

3.3接口协议的发展

3.3.1接口协议

3.3.2接口协议发展简史

3.3.3NVME与NVMe-oF

4、存储产品发展趋势

4.1存储产品发展历程

4.2智能时代来临

4.3智能时代对数据存储的新要求

4.4智能时代数据存储的特征

4.5数据存储发张趋势

4.6存储介质发展

4.7DNA存储

4.8原子存储

4.9量子存储

4.10存储网络发展趋势

4.11华为存储产品发展历程

4.12智能数据存储架构

三、虚拟化技术

1.简单叙述常见的虚拟化技术分类：

①CPU虚拟化：CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程，通过这些指令集，VMM会很容易提高性能。

②服务器虚拟化：服务器虚拟化能够通过区分资源的优先次序，并随时随地将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。

③存储虚拟化：虚拟存储设备需要通过大规模的raid子系统和多个I/O通道连接到服务器上，智能控制器提供LUN访问控制、缓存和其他如数据复制等管理功能。

④网络虚拟化：网络虚拟化整合后的设备组成了一个逻辑单元，在网络中表现为一个网元节点，管理简单化、配置简单化、可跨设备链路聚合，极大简化网络架构，同时进一步增强冗余可靠性

⑤应用虚拟化：应用虚拟化通常包括两层含义，一是应用软件的虚拟化，一是桌面的虚拟化。

2.XEN虚拟化技术的优缺点；

2.1优点：

①Xen构建于开源的虚拟机管理程序上，结合使用半虚拟化和硬件协助的虚拟化。操作系统与虚拟化平台之间的这种协作支持开发一个较简单的虚拟机管理程序来提供高度优化的性能。

②Xen提供了复杂的工作负载均衡功能，可捕获CPU、内存、磁盘I/O和网络I/O数据，它提供了两种优化模式：一种针对性能，另一种针对密度。

③Xen利用一种名为Citrix Storage Link 的独特的存储集成功能。使用Citrix Storage Link，系统管理员可直接利用来自HP、Dell Equal Logic、NetApp、EMC等公司的存储产品。

④Xen包含多核处理器支持、实时迁移、物理服务器到虚拟机转换（P2V）和虚拟到虚拟转换（V2V）工具。集中化的多服务器管理、实时性能监控，以及Windows和Linux的快速性能

2.2缺点：

①Xen会占用相对较大的空间，且依赖于0号虚拟机中的Linux操作系统。

②Xen依靠第三方解决方案来管理硬件设备驱动程序、存储、备份和恢复，以及容错 任何具有高I/O速率的操作或任何会吞噬资源的操作都会使Xen陷入困境，使其他虚拟机缺乏资源。

③Xen缺少802.1Q 虚拟局域网（VLAN）中继，出于安全考虑，它没有提供目录服务集成、基于角色的访问控制、安全日志记录和审计或管理操作。

④Xen目前最大的困难在于Linux内核社区的抵制，导致XEN相关的内核改动一直不能顺利进入内核源代码，从而无法及时得到内核最新开发成果的支持。

3、KVM虚拟化技术功能特性及优缺点;

3.1功能特性:

是基于硬件辅助虚拟化技术（Intel的VT-x或者AMD-V）的虚拟化解决方案，Guest OS能够不经过修改直接在KVM 的虚拟机中运行，每一台虚拟机能够享有独立的虚拟硬件资源，如网卡、磁盘、图形适配器等。 “基于Linux内核”是KVM在软件实现上不同于其它VMM实现的最重要特点。

3.2优点：

①开源：KVM 一个开源项目，这就决定了KVM一直是开放的姿态，许多虚拟化的新技术都是首先在KVM上应用，再到其他虚拟化引擎上推广；

3.3缺点：

①前期高额费用；②降低硬件利用率；③更大的错误影响面；④实施配置复杂、管理复杂；⑤一定的限制性；⑥安全性（虚拟化技术自身的安全隐患）

4、红帽RHEV技术功能特性及优缺点；

4.1功能：

①在线迁移；②高可用；③系统计划跳度；④电源管理；⑤模板管理；⑥快照

4.2优点：

(1)性能和可扩展性：为实现企业级的虚拟化应用程序，如Oracle、SAP和Microsoft Exchange，为其提供领先的性能和可扩展性。

(2)安全性：业界领先的安全性，在安全增强型红帽企业Linux内核基础上构建。

(3)企业功能：业虚拟化管理功能，包括实时迁移、高可用性、负载均衡、节能等。

(4)灵活性：通过消除桌面操作系统和基础硬件之间的依赖性，实现业务灵活性和连续性。

(5)成本优势：与其他解决方案相比较，凭借红帽软件订阅模式的强大功能，能够以更低的购置和总拥有成本获得相同或更好的功能集，从而获得收益。

4.3缺点：

(1)技术不成熟：KVM的出现不过三四年时间，在可用资源、平台支持、管理工具、实施经验方面当然不能与出现8年之久的Xen相比。
(2)需要Windows支持；KVM3.0之前的RHEV-M管理程序需要Windows支持，这是KVM在部署过程中最大的障碍，RedHat公司已经意识到这个问题的严重性，从KVM3.0开始，开发出基于Linux的RHEV-M，取消了其只能运行于Windows服务器上的尴尬，这一改动得到大量Linux用户的支持。

(3)管理的物理服务器数量少，每台M端只能管理500台以内的H端服务器。

5、简单叙述其他虚拟化技术的实现方法；

5.1VMware

(1) VMware Workstation：VMware Workstation是VMware公司销售的运行于台式机和工作站上的虚拟化软件，也是VMware公司第一个面市的产品（1999年5月）。该产品最早采用了VMware在业界知名的二进制翻译技术，在x86 CPU硬件虚拟化技术还未出现之前，为客户提供了纯粹的基于软件的全虚拟化解决方案。

（2）VMware ESX Serve： ESX服务器（一种能直接在硬件上运行的企业级的虚拟平台），虚拟的SMP，它能让一个虚拟机同时使用四个物理处理器，和VMFS一样，它能使多个ESX服务器分享块存储器。

5.2Virtual Box

Oracle VirtualBox是由德国InnoTek软件公司出品的虚拟机软件，现在由甲骨文公司进行开发，是甲骨文公司xVM虚拟化平台技术的一部分。它提供使用者在32位或64位的Windows、Solaris及Linux操作系统上虚拟其他X86的操作系统。使用者可以在VirtualBox上安装并执行Solaris、Windows、DOS、Linux、OS/2 Warp、OpenBSD及FreeBSD等操作系统作为客户端操作系统。最新的VirtualBox还支持运行Android4.0系统。

5.3Hyper-V

Hyper-V是微软提出的一种系统管理程序虚拟化技术。Hyper-V设计的目的是为广泛的用户提供更为熟悉及成本效益更高的虚拟化基础设施软件，这样可以降低运作成本、提高硬件利用率、优化基础设施并提高服务器的可用性。

Hyper-V的设计借鉴了Xen，采用微内核的架构，兼顾了安全性和性能的要求。Hyper-V底层的Hypervisor运行在最高的特权级别下，微软将其称为ring-1（而Intel也将其称为root mode），而虚拟机的操作系统内核和驱动运行在ring0，应用程序运行在ring3。

四、Qemu-KVM

1、KVM原理简介

1.1KVM工作流程

 用户模式的qemu利用libkvm通过ioctl进入内核模式，kvm模块为虚拟机创建虚拟内存，虚拟CPU后执行VMLauch指令进入客户模式。加载Guest OS并执行。如果Guest OS 发生外部中断或者影子页表缺页之类的情况，会暂停Guest OS的执行，退出客户模式，执行异常处理，之后重新进入客户模式，执行客户代码。如果发生I/O事件或者信号队列中有信号到达，就会进入用户模式处理。

1.2KVM架构

如图所示，左侧部分是一个标准的Linux操作系统，可以是RHEL、Fedora、Ubuntu等。KVM内核模块在运行时按需加载进入内核空间运行。KVM本身不执行任何设备模拟，需要用户空间程序QEMU通过/dev/kvm接口设置一个虚拟客户机的地址空间，向它提供模拟的I/O设备，并将它的视频显示映射回宿主机的显示屏。

1.3KVM模块

KVM模块是KVM虚拟机的核心部分。其主要功能是初始化CPU硬件，打开虚拟化模式，然后将虚拟客户机运行在虚拟机模式下，并对虚拟客户机的运行提供一定的支持。
KVM模块加载之初，只存在/dev/kvm文件，而针对该文件的最重要的IOCTL调用就是“创建虚拟机”。在这里，“创建虚拟机”可以理解成KVM为了某个特定的虚拟客户机（用户空间程序创建并初始化）创建对应的内核数据结构。
处理器对设备的访问主要是通过IO指令和MMIO，其中IO指令会被处理器直接截获，MMIO会通过配置内存虚拟化来捕捉。但是，外设的模拟一般并不由KVM模块负责。一般来说，只有对性能要求比较高的虚拟设备才会由KVM内核模块来直接负责，比如虚拟终端控制器和虚拟时钟，这样可以大量减少处理器的模式切换的开销。

2、Qemu原理介绍

2.1Qemu架构

Qemu是纯软件实现的虚拟化模拟器，几乎可以模拟任何硬件设备，是一个完整的可以运行的软件，非常灵活可移植，我们最熟悉的就是能够模拟一台能够独立运行操作系统的虚拟机，虚拟机认为自己和硬件打交道，但其实是和Qemu模拟出来的硬件打交道，Qemu将这些指令转译给真正的硬件。

2.2Qemu模块

QEMU本身并不是KVM的一部分，其自身就是一个著名的开源虚拟机软件。与KVM不同，QEMU虚拟机是一个纯软件的实现，所以性能地下。但是，其优点是在支持QEMU本身编译运行的平台上就可以实现虚拟机的功能，甚至虚拟机可以与宿主机并不是同一个架构。作为一个存在已久的虚拟机，QEMU的代码中有整套的虚拟机实现，包括处理器虚拟化、内存虚拟化，以及KVM使用到的虚拟设备模拟（比如网卡、显卡、存储控制器和硬盘等）。

从QEMU和KVM模块之间的关系可以看出，这是典型的开源社区在代码共用和开发项目共用上面的合作。诚然，QEMU可以选择其他的虚拟机或技术来加速，比如Xen或者KQEMU；KVM也可以选择其他的用户空间程序作为虚拟机实现，只要它按照KVM提供的API来设计。但是在现实中，QEMU与KVM两者的结合是最成熟的选择，这对一个新开发和后起的项目（KVM）来说，无疑多了一份未来成功的保障。

2.3Qemu的三种运行模式

1)第一种模式是通过kqemu模块实现内核态的加速。
2)第二种模式是在用户态直接运行QEMU，由QEMU对目标机的 所有 指令进行翻译后执行，相当于全虚拟化。
3)第三种模式则是KVM官方提供的kvm-qemu加速模式。

2.4Qemu的特点

（1）QEMU的两种操作模式：完整的系统仿真和用户模式仿真
（2）QEMU具有以下特点：QEMU可以在没有主机内核驱动程序的情况下运行。
它适用于多种操作系统（GNU / Linux，* BSD，Mac OS X，Windows）和体系结构。
它执行FPU的精确软件仿真。
（3）QEMU用户模式仿真具有以下功能：通用Linux系统调用转换器，包括大部分ioctls。
使用本机CPU clone的仿真为线程使用Linux调度程序。
通过将主机信号重新映射到目标信号来实现精确信号处理。

3、KVM和Qemu的关系

3.1KVM和Qemu的关系

Qemu是一个独立的虚拟化解决方案，通过intel-VT 或AMD SVM实现全虚拟化，安装qemu的系统，可以直接模拟出另一个完全不同的系统环境。QEMU本身可以不依赖于KVM，但是如果有KVM的存在并且硬件(处理器)支持比如Intel VT功能，那么QEMU在对处理器虚拟化这一块可以利用KVM提供的功能来提升性能。

KVM是集成到Linux内核的Hypervisor，是X86架构且硬件支持虚拟化技术（Intel-VT或AMD-V）的Linux的全虚拟化解决方案。它是Linux的一个很小的模块，利用Linux做大量的事，如任务调度、内存管理与硬件设备交互等。准确来说，KVM是Linux kernel的一个模块。

4、Qemu工具介绍

4.1qemu-img

qemu-img是QEMU的磁盘管理工具，在qemu-kvm源码编译后就会默认编译好qemu-img这个二进制文件。qemu-img也是QEMU/KVM使用过程中一个比较重要的工具。下面我们将几条重要的选项讲解一下。
check [-f fmt] filename
对磁盘镜像文件进行一致性检查，查找镜像文件中的错误，目前仅支持对“qcow2”、“qed”、“vdi”格式文件的检查。
create [-f fmt] [-o options] filename [size]
创建一个格式为fmt大小为size文件名为filename的镜像文件。
commit [-f fmt] [-t cache] filename
提交filename文件中的更改到后端支持镜像文件（创建时通过backing_file指定的）中去。
convert [-c] [-p] [-f fmt] [-t cache] [-O output_fmt] [-o options] [-s snapshot_name] [-S sparse_size] filename [filename2 […]] output_filename
将fmt格式的filename镜像文件根据options选项转换为格式为output_fmt的名为output_filename的镜像文件。

4.2qemu-img

info [-f fmt] filename
展示filename镜像文件的信息。
snapshot [-l | -a snapshot | -c snapshot | -d snapshot] filename
“-l” 选项是查询并列出镜像文件中的所有快照，“-a snapshot”是让镜像文件使用某个快照，“-c snapshot”是创建一个快照，“-d”是删除一个快照。
rebase [-f fmt] [-t cache] [-p] [-u] -b backing_file [-F backing_fmt] filename
改变镜像文件的后端镜像文件，只有qcow2和qed格式支持rebase命令。
resize filename [+ | -]size
改变镜像文件的大小，使其不同于创建之时的大小。

4.3qemu-kvm

此命令用于创建虚拟机，其使用格式为“qemu-kvm [options] [disk_image]”，其选项非常多，大致可分为如下几类：
标准选项；
USB选项；
显示选项；
i386平台专用选项；
网络选项；
字符设备选项；
蓝牙相关选项；
Linux系统引导专用选项；
调试/专家模式选项；
PowerPC专用选项；
Sparc32专用选项。

下面我们将讲解几个重要的选项。
qemu-kvm的标准选项
该选项主要涉及指定主机类型、CPU模式、NUMA、软驱设备、光驱设备及硬件设备等。
qemu-kvm的显示选项
该选项主要用来配置虚拟机的显示状态。
网络属性相关选项：
该选项用来配置虚拟机的网络信息。

4.4qemu-ga

qga是一个运行在虚拟机内部的普通应用程序（可执行文件名称默认为qemu-ga，服务名称默认为qemu-guest-agent），其目的是实现一种宿主机和虚拟机进行交互的方式，这种方式不依赖于网络，而是依赖于virtio-serial（默认首选方式）或者isa-serial，而QEMU则提供了串口设备的模拟及数据交换的通道，最终呈现出来的是一个串口设备（虚拟机内部）和一个unix socket文件（宿主机上）。
qga通过读写串口设备与宿主机上的socket通道进行交互，宿主机上可以使用普通的unix socket读写方式对socket文件进行读写，最终实现与qga的交互，交互的协议与qmp（QEMU Monitor Protocol）相同（简单来说就是使用JSON格式进行数据交换），串口设备的速率通常都较低，所以比较适合小数据量的交换。

4.5qemu-io

这是一个执行 Qemu I/O 操作的命令行工具，可以对qemu-img创建的镜像进行I/O测试，其帮助文档为，使用格式为qemu-io [-h] [-V] [-rsnm] [-c cmd] … [file]，下面是常用的选项：
（1）-c, --cmd：执行指令；
（2）-r, --read-only：设置出口为只读模式；
（3）-s, --snapshot：使用快照文件进行测试；
（4）-n, --nocache：禁用主机缓存；
（5）-k, --native-aio：使用内核AIO实现（仅在Linux上）；
（6）-t, --cache=MODE：对image使用指定的缓存模式。

4.6 qemu-nbd

qemu-nbd在有的系统上叫kvm-nbd，qemu-nbd-xen等。基本上都一样。用qemu-nbd实现mount虚拟硬盘到Host上的功能。
网络块设备: Network Block Device。可以将一个远程主机的磁盘空间，当作一个块设备来使用，就像一块硬盘一样。使用它，可以很方便的将另一台服务器的硬盘空间增加到本地服务器上。
NBD与NFS有所不同，NFS只是提供一个挂载点供客户端使用，客户端无法改变这个挂载点的分区格式。而NBD提供的是一个块设备，客户端可以把这个块设备格式化成各种类型的分区，更便于用户的使用。

5、Qemu支持的磁盘格式介绍

5.1qemu-img支持非常多种的文件格式，我们可以通过“qemu-img --help”查看帮助文档得到，它支持二十多种格式：vvfat、vpc、vmdk、vhdx、vdi、ssh、sheepdog、rbd、raw、host_cdrom、host_floppy、host_device、file qed、qcow2、qcow、parallels、nbd、iscsi、gluster、 dmg、tftp、ftps、ftp、https、http、cloop、bochs、blkverify、blkdebug。

  下面对其中几种常用的文件格式做简单的介绍。

raw
raw格式是简单的二进制镜像文件，一次性会把分配的磁盘空间占用。

host_device
在需要将镜像转化到不支持空洞的磁盘设备时需要用这种格式来代替raw格式

qcow2
qcow2是QEMU目前推荐的镜像格式，它是功能最多的格式。
qcow
较旧的QEMU镜像格式，现在已经很少使用了，一般用于兼容比较老版本的QEMU。它支持backing_file（后端镜像）和encryption（加密）两个选项。
cow
copy-on-write format，写时复制格式。曾经qemu的写时拷贝的镜像格式，目前由于历史遗留原因不支持窗口模式，后来被qcow格式所取代。
vdi
兼容Oracle（Sun）VirtualBox1.1的镜像文件格式（Virtual Disk Image）。
vmdk
VMDK（VMWare Virtual Machine Disk Format）是虚拟机VMware创建的虚拟硬盘格式，文件存在于VMware文件系统中，被称为VMFS（虚拟机文件系统）

6、实验一：Qemu-kvm虚拟化环境搭建

1、实验目的
掌握使用VMware Workstation创建虚拟机；
掌握安装过程中如何配置虚拟化；
了解如何在没有虚拟化环境下安装软件包实现qemu-kvm环境；
学会配置vncserver环境。
2、实验内容
通过VMware Workstation创建一台虚拟机，并将其虚拟化引擎设置为Intel VT-x或AMD-V/RVI(V)。本实验也包含了在没有安装图形化界面的情况下如何安装图形化界面及qemu-kvm环境，同时附带vncserver的配置方法。
3、实验步骤
详细操作步骤见本书提供的操作视频。

7、Qemu-img生产虚拟机硬盘

1、实验目的
掌握使用qemu-img命令创建虚拟机硬盘；
巩固qemu-img支持的磁盘类型各自优缺点。
2、实验内容
前面章节中已经介绍了qemu-img命令的使用方法，qemu-img创建的虚拟机镜像用来模拟虚拟机的硬盘，在启动虚拟机之前需要创建镜像文件。在此我们通过实验来巩固加深对qemu-img命令的理解。
3、实验步骤
详细操作步骤见本书提供的操作视频。

8、Qemu-kvm命令创建虚拟机

1、实验目的
掌握使用qemu-kvm创建带图形界面的虚拟机并启动，将虚拟机安装完成；
掌握配置vncserver的方法。
2、实验内容
在实验2中，我们已经将虚拟机所使用的镜像创建好了，接下来创建的虚拟机就是安装在所创建的磁盘中。我们通过vncviewer连接至创建的qemu-kvm虚拟机，将其安装完成。
3、实验步骤
详细操作步骤见本书提供的操作视频。

总结

以上就是今天要讲的内容，本文仅仅简单介绍了虚拟化技术，在各方面的应用。了解KVM技术的原理；
了解Qemu技术的原理；
了解KVM和Qemu的关系；
了解常用的Qemu工具及其支持的磁盘类型；
掌握qemu-kvm虚拟化环境搭建；
掌握使用qemu-img命令生产虚拟机镜像；
掌握使用qemu-kvm命令创建虚拟机。