虚拟化与网络存储

一、虚拟化

（一）虚拟化技术分类

1.虚拟化技术简介

如图所示，我们可以将一般的计算模型抽象成为一定的物理资源和运行于之上的计算元件，它们之间通过定义的物理资源接口进行交互。
虚拟化是一种方法，本质上讲是指从逻辑角度而不是物理角度来对资源进行配置，是从单一的逻辑角度来看待不同的物理资源的方法。虚拟化是一种逻辑角度出发的资源配置技术，是物理实际的逻辑抽象。

2.虚拟化分类

• CPU虚拟化：CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程，通过这些指令集，VMM会很容易提高性能。
• 服务器虚拟化：服务器虚拟化能够通过区分资源的优先次序，并随时随地将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。
• 存储虚拟化：虚拟存储设备需要通过大规模的raid子系统和多个I/O通道连接到服务器上，智能控制器提供LUN访问控制、缓存和其他如数据复制等管理功能。
• 网络虚拟化：网络虚拟化整合后的设备组成了一个逻辑单元，在网络中表现为一个网元节点，管理简单化、配置简单化、可跨设备链路聚合，极大简化网络架构，同时进一步增强冗余可靠性。
• 应用虚拟化：应用虚拟化通常包括两层含义，一是应用软件的虚拟化，一是桌面的虚拟化。

（二）XEN虚拟化技术简介

1.Xen虚拟机技术的优缺点

1.1Xen虚拟机技术的优点

• Xen构建于开源的虚拟机管理程序上，结合使用半虚拟化和硬件协助的虚拟化。操作系统与虚拟化平台之间的这种协作支持开发一个较简单的虚拟机管理程序来提供高度优化的性能。
• Xen提供了复杂的工作负载均衡功能，可捕获CPU、内存、磁盘I/O和网络I/O数据，它提供了两种优化模式：一种针对性能，另一种针对密度。
• Xen利用一种名为Citrix Storage Link 的独特的存储集成功能。使用Citrix StorageLink，系统管理员可直接利用来自HP、Dell Equal Logic、NetApp、EMC等公司的存储产品。
• Xen包含多核处理器支持、实时迁移、物理服务器到虚拟机转换（P2V）和虚拟到虚拟转换（V2V）工具。集中化的多服务器管理、实时性能监控，以及Windows和Linux的快速性能。

1.2Xen虚拟机技术的缺点

• Xen会占用相对较大的空间，且依赖于0号虚拟机中的Linux操作系统。
• Xen依靠第三方解决方案来管理硬件设备驱动程序、存储、备份和恢复，以及容错任何具有高I/O速率的操作或任何会吞噬资源的操作都会使Xen陷入困境，使其他虚拟机缺乏资源。
• Xen缺少802.1Q 虚拟局域网（VLAN）中继，出于安全考虑，它没有提供目录服务集成、基于角色的访问控制、安全日志记录和审计或管理操作。
• Xen目前最大的困难在于Linux内核社区的抵制，导致XEN相关的内核改动一直不能顺利进入内核源代码，从而无法及时得到内核最新开发成果的支持。

（三）KVM虚拟化技术简介

KVM的优势：

• 开源：KVM 一个开源项目，这就决定了KVM一直是开放的姿态，许多虚拟化的新技术都是首先在KVM上应用，再到其他虚拟化引擎上推广。
• 性能：KVM吸引许多人使用的一个动因就是性能，在同样的硬件条件下，能提供更好的虚拟机性能，主要是因为KVM架构简单，代码只有2万行，一开始就支持硬件虚拟化，这些技术特点保证了KVM的性能。
• 免费：KVM因为是开源项目，绝大部分KVM的解决方案都是免费方案，随着KVM的发展，KVM虚拟机越来越稳定，兼容性也越来越好，因而也就得到越来越多的应用。
• 技术支持：免费并不意味着KVM没有技术支持。在KVM的开源社区，数量巨大的KVM技术支持者都可以提供KVM技术支持。另外，如果需要商业级支持，也可以购买红帽公司的服务。

（四）红帽RHEV虚拟化系统简介

RHEV(Red Hat Enterprise Virtualization)红帽企业虚拟化，是一个服务器虚拟化的管理平台。由RHEV-M(Manager)、RHEV-H(Hypersior)和存储组成，能够简便、集中的对KVM虚拟机进行创建、删除、迁移、快照等操作，实现企业服务器物理资源的充分使用。是一种非常适合中小型企业的虚拟化解决方案。

1.RHEV虚拟化技术的优缺点

1.1Xen虚拟化技术的优点

• 性能和可扩展性：为实现企业级的虚拟化应用程序，如 Oracle 、 SAP 和 Microsoft Exchange,为其提供领先的性能和可扩展性。
• 安全性：业界领先的安全性，在安全增强型 Red Hat 企业 Linux 内核基础上构建。
• 企业功能：虚拟化管理功能，包括实时迁移、高可用性、负载均衡、节能等。
• 灵活性：通过消除桌面操作系统和基础硬件之间的依赖性，实现业务灵活性和连续性。
• 成本优势：与其他解决方案相比较，凭借 Red Hat软件订阅模式的强大功能，能够以更低的购置和总拥有成本获得相同或更好的功能集，从而获得收益。

1.2Xen虚拟化技术的缺点

• 技术不成熟： KVM 的出现不过几年时间，在可用资源、平台支持、管理工具、实施经验方面当然不能与出现8年之久的 Xen 相比。
• 需要 Windows 支持：KVM3.0之前的 RHEV - M 管理程序需要 Windows 支持，这是 KVM在部署过程中最大的障碍。 Red Hat 公司已经意识到这个问题的严重性，从KVM3.0开始，开发出基于 Linux 的 RHEV - M，取消了其只能运行于 Windows 服务器上的尴尬，这一改动得到大量 Linux 用户的支持。
• 管理的物理服务器数量少，每台M端只能管理500台以内的H端服务器。

（五）其他虚拟化技术介绍

1.VMware

1.1VMware Workstation

VMware Workstation是VMware公司销售的运行于台式机和工作站上的虚拟化软件，也是VMware公司第一个面市的产品（1999年5月）。该产品最早采用了VMware在业界知名的二进制翻译技术，在x86 CPU硬件虚拟化技术还未出现之前，为客户提供了纯粹的基于软件的全虚拟化解决方案。

1.2VMware ESX Server

ESX服务器（一种能直接在硬件上运行的企业级的虚拟平台），虚拟的SMP，它能让一个虚拟机同时使用四个物理处理器，和VMFS一样，它能使多个ESX服务器分享块存储器。

2.Virtual Box

Oracle VirtualBox是由德国InnoTek软件公司出品的虚拟机软件，现在由甲骨文公司进行开发，是甲骨文公司xVM虚拟化平台技术的一部分。它提供使用者在32位或64位的Windows、Solaris及Linux操作系统上虚拟其他X86的操作系统。使用者可以在VirtualBox上安装并执行Solaris、Windows、DOS、Linux、OS/2 Warp、OpenBSD及FreeBSD等操作系统作为客户端操作系统。最新的VirtualBox还支持运行Android4.0系统。

3.Hyper-V

二、Qemu-kvm介绍

（一）KVM原理简介

1.KVM工作流程

2.KVM模块

• KVM模块是KVM虚拟机的核心部分。其主要功能是初始化CPU硬件，打开虚拟化模式，然后将虚拟客户机运行在虚拟机模式下，并对虚拟客户机的运行提供一定的支持。
• KVM模块加载之初，只存在/dev/kvm文件，而针对该文件的最重要的IOCTL调用就是“创建虚拟机”。在这里，“创建虚拟机”可以理解成KVM为了某个特定的虚拟客户机（用户空间程序创建并初始化）创建对应的内核数据结构。
• 处理器对设备的访问主要是通过IO指令和MMIO，其中IO指令会被处理器直接截获，MMIO会通过配置内存虚拟化来捕捉。但是，外设的模拟一般并不由KVM模块负责。一般来说，只有对性能要求比较高的虚拟设备才会由KVM内核模块来直接负责，比如虚拟终端控制器和虚拟时钟，这样可以大量减少处理器的模式切换的开销。

（二）Qemu原理介绍

1.Qemu构架

Qemu是纯软件实现的虚拟化模拟器，几乎可以模拟任何硬件设备，是一个完整的可以运行的软件，非常灵活可移植，我们最熟悉的就是能够模拟一台能够独立运行操作系统的虚拟机，虚拟机认为自己和硬件打交道，但其实是和Qemu模拟出来的硬件打交道，Qemu将这些指令转译给真正的硬件。

2.Qemu的三种运行模式

第一种模式是通过kqemu模块实现内核态的加速。
第二种模式是在用户态直接运行QEMU，由QEMU对目标机的 所有指令进行翻译后执行，相当于全虚拟化。
第三种模式则是KVM官方提供的kvm-qemu加速模式。

3.Qemu的特点

（1）QEMU的两种操作模式：完整的系统仿真和用户模式仿真。
（2）QEMU具有以下特点：

• QEMU可以在没有主机内核驱动程序的情况下运行。
• 它适用于多种操作系统（GNU / Linux，* BSD，Mac OS X，Windows）和体系结构。
• 它执行FPU的精确软件仿真。

（3）QEMU用户模式仿真具有以下功能：

• 通用Linux系统调用转换器，包括大部分ioctls。
• 使用本机CPU clone的仿真为线程使用Linux调度程序。
• 通过将主机信号重新映射到目标信号来实现精确信号处理。
  （4）QEMU全系统仿真具有以下特点：
• QEMU使用完整的软件MMU来实现最大的便携性。
• QEMU可以选择使用内核加速器，如kvm。加速器本地执行大部分客户代码，同时继续模拟机器的其余部分。
• 可以仿真各种硬件设备，并且在某些情况下，客户机操作系统可以透明地使用主机设备（例如串行和并行端口，USB，驱动器）。主机设备传递可用于与外部物理外围设备（例如网络摄像头，调制解调器或磁带驱动器）交谈。
• 对称多处理（SMP）支持。目前，内核加速器需要使用多个主机CPU进行仿真。

（三）KVM和Qemu的关系

• Qemu是一个独立的虚拟化解决方案，通过intel-VT 或AMD
  SVM实现全虚拟化，安装qemu的系统，可以直接模拟出另一个完全不同的系统环境。QEMU本身可以不依赖于KVM，但是如果有KVM的存在并且硬件(处理器)支持比如Intel
  VT功能，那么QEMU在对处理器虚拟化这一块可以利用KVM提供的功能来提升性能。
• KVM是集成到Linux内核的Hypervisor，是X86架构且硬件支持虚拟化技术（Intel-VT或AMD-V）的Linux的全虚拟化解决方案。它是Linux的一个很小的模块，利用Linux做大量的事，如任务调度、内存管理与硬件设备交互等。准确来说，KVM是Linux kernel的一个模块。

（四）Qemu工具介绍

①qemu-img
qemu-img是QEMU的磁盘管理工具，在qemu-kvm源码编译后就会默认编译好qemu-img这个二进制文件。


②qemu-kvm
此命令用于创建虚拟机，其使用格式为“qemu-kvm [options] [disk_image]”，其选项非常多，大致可分为如下几类：
标准选项；
USB选项；
显示选项；
i386平台专用选项；
网络选项；
字符设备选项；
蓝牙相关选项；
Linux系统引导专用选项；
调试/专家模式选项；
PowerPC专用选项；
Sparc32专用选项。
③qemu-ga
qga是一个运行在虚拟机内部的普通应用程序（可执行文件名称默认为qemu-ga，服务名称默认为qemu-guest-agent），其目的是实现一种宿主机和虚拟机进行交互的方式，这种方式不依赖于网络，而是依赖于virtio-serial（默认首选方式）或者isa-serial，而QEMU则提供了串口设备的模拟及数据交换的通道，最终呈现出来的是一个串口设备（虚拟机内部）和一个unix socket文件（宿主机上）。
qga通过读写串口设备与宿主机上的socket通道进行交互，宿主机上可以使用普通的unix socket读写方式对socket文件进行读写，最终实现与qga的交互，交互的协议与qmp（QEMU Monitor Protocol）相同（简单来说就是使用JSON格式进行数据交换），串口设备的速率通常都较低，所以比较适合小数据量的交换。
④qemu-io
这是一个执行 Qemu I/O 操作的命令行工具，可以对qemu-img创建的镜像进行I/O测试，其帮助文档为，使用格式为qemu-io [-h] [-V] [-rsnm] [-c cmd] … [file]，下面是常用的选项：
（1）-c, --cmd：执行指令；
（2）-r, --read-only：设置出口为只读模式；
（3）-s, --snapshot：使用快照文件进行测试；
（4）-n, --nocache：禁用主机缓存；
（5）-k, --native-aio：使用内核AIO实现（仅在Linux上）；
（6）-t, --cache=MODE：对image使用指定的缓存模式。
⑤qemu-nbd
qemu-nbd在有的系统上叫kvm-nbd，qemu-nbd-xen等。基本上都一样。用qemu-nbd实现mount虚拟硬盘到Host上的功能。
网络块设备: Network Block Device。可以将一个远程主机的磁盘空间，当作一个块设备来使用，就像一块硬盘一样。使用它，可以很方便的将另一台服务器的硬盘空间增加到本地服务器上。
NBD与NFS有所不同，NFS只是提供一个挂载点供客户端使用，客户端无法改变这个挂载点的分区格式。而NBD提供的是一个块设备，客户端可以把这个块设备格式化成各种类型的分区，更便于用户的使用。

（五）Qemu支持的磁盘格式介绍

1.qemu-nbd

qemu-img支持非常多种的文件格式，我们可以通过“qemu-img --help”查看帮助文档得到，它支持二十多种格式：vvfat、vpc、vmdk、vhdx、vdi、ssh、sheepdog、rbd、raw、host_cdrom、host_floppy、host_device、file qed、qcow2、qcow、parallels、nbd、iscsi、gluster、 dmg、tftp、ftps、ftp、https、http、cloop、bochs、blkverify、blkdebug。
下面对其中几种常用的文件格式做简单的介绍：

• raw：raw格式是简单的二进制镜像文件，一次性会把分配的磁盘空间占用。
• host_device：在需要将镜像转化到不支持空洞的磁盘设备时需要用这种格式来代替raw格式。
• qcow2：qcow2是QEMU目前推荐的镜像格式，它是功能最多的格式。
• qcow：较旧的QEMU镜像格式，现在已经很少使用了，一般用于兼容比较老版本的QEMU。它支持backing_file（后端镜像）和encryption（加密）两个选项。
• cow： copy-on-write format，写时复制格式。曾经qemu的写时拷贝的镜像格式，目前由于历史遗留原因不支持窗口模式，后来被qcow格式所取代。
• vdi：兼容Oracle（Sun）VirtualBox1.1的镜像文件格式（Virtual Disk Image）。
• vmdk： VMDK（VMWare Virtual Machine Disk Format）是虚拟机VMware创建的虚拟硬盘格式，文件存在于VMware文件系统中，被称为VMFS（虚拟机文件系统）。
• vpc：兼容Microsoft的Virtual PC的镜像文件格式（Virtual Hard Disk format）。
• sheepdog：Sheepdog项目是由日本的NTT实验室发起的，为QEMU/KVM做的一个开源的分布式存储系统，为KVM虚拟化提供块存储。
• cloop： 压缩的loop格式，主要用于可直接引导优盘或者光盘的一种镜像格式。