KVM 详解
文章转载来源http://www.cnblogs.com/sammyliu/p/4543110.html
学习 KVM 的系列文章：
- （1）介绍和安装
- （2）CPU 和 内存虚拟化
- （3）I/O QEMU 全虚拟化和准虚拟化（Para-virtulizaiton）
- （4）I/O PCI/PCIe设备直接分配和 SR-IOV
- （5）libvirt 介绍
- （6）Nova 通过 libvirt 管理 QEMU/KVM 虚机
- （7）快照 （snapshot）
- （8）迁移 （migration）
1. KVM 介绍
1.0 虚拟化简史
其中，KVM 全称是 基于内核的虚拟机（Kernel-based Virtual Machine），它是一个 Linux 的一个内核模块，该内核模块使得 Linux 变成了一个 Hypervisor：
- 它由 Quramnet 开发，该公司于 2008年被 Red Hat 收购。
- 它支持 x86 (32 and 64 位), s390, Powerpc 等 CPU。
- 它从 Linux 2.6.20 起就作为一模块被包含在 Linux 内核中。
- 它需要支持虚拟化扩展的 CPU。
- 它是完全开源的。官网。
本文介绍的是基于 X86 CPU 的 KVM。
1.1 KVM 架构
- Guest：客户机系统，包括CPU（vCPU）、内存、驱动（Console、网卡、I/O 设备驱动等），被 KVM 置于一种受限制的 CPU 模式下运行。
- KVM：运行在内核空间，提供CPU 和内存的虚级化，以及客户机的 I/O 拦截。Guest 的 I/O 被 KVM 拦截后，交给 QEMU 处理。
- QEMU：修改过的为 KVM 虚机使用的 QEMU 代码，运行在用户空间，提供硬件 I/O 虚拟化，通过 IOCTL /dev/kvm 设备和 KVM 交互。
KVM 是实现拦截虚机的 I/O 请求的原理：
QEMU-KVM：
KVM：
- 首先初始化内部的数据结构；
- 做好准备后，KVM 模块检测当前的 CPU，然后打开 CPU 控制及存取 CR4 的虚拟化模式开关，并通过执行 VMXON 指令将宿主操作系统置于虚拟化模式的根模式；
- 最后，KVM 模块创建特殊设备文件 /dev/kvm 并等待来自用户空间的指令。
2. KVM 的功能列表
KVM 所支持的功能包括：
- 支持CPU 和 memory 超分（Overcommit）
- 支持半虚拟化I/O （virtio）
- 支持热插拔 （cpu，块设备、网络设备等）
- 支持对称多处理（Symmetric Multi-Processing，缩写为 SMP ）
- 支持实时迁移（Live Migration）
- 支持 PCI 设备直接分配和 单根I/O 虚拟化 （SR-IOV）
- 支持 内核同页合并 （KSM ）
- 支持 NUMA （Non-Uniform Memory Access，非一致存储访问结构 ）
3. KVM 工具集合
- libvirt：操作和管理KVM虚机的虚拟化 API，使用 C 语言编写，可以由 Python,Ruby, Perl, PHP, Java 等语言调用。可以操作包括 KVM，vmware，XEN，Hyper-v, LXC 等 Hypervisor。
- Virsh：基于 libvirt 的 命令行工具 （CLI）
- Virt-Manager：基于 libvirt 的 GUI 工具
- virt-v2v：虚机格式迁移工具
- virt-* 工具：包括 Virt-install （创建KVM虚机的命令行工具）， Virt-viewer （连接到虚机屏幕的工具），Virt-clone（虚机克隆工具），virt-top 等
- sVirt：安全工具
4. RedHat Linux KVM 安装
- KVM 由 libvirt API 和基于该 API的一组工具进行管理和控制。
- KVM 支持系统资源超分，包括内存和CPU的超分。RedHat Linux 最多支持物理 CPU 内核总数的10倍数目的虚拟CPU，但是不支持在一个虚机上分配超过物理CPU内核总数的虚拟CPU。
- 支持 KSM （Kenerl Same-page Merging 内核同页合并）
RedHat Linux KVM 有如下两种安装方式：
4.1 在安装 RedHat Linux 时安装 KVM
选择安装类型为 Virtualizaiton Host ：
可以选择具体的 KVM 客户端、平台和工具：
4.2 在已有的 RedHat Linux 中安装 KVM
这种安装方式要求该系统已经被注册，否则会报错：
[root@rh65 ~]# yum install qemu-kvm qemu-img Loaded plugins: product-id, refresh-packagekit, security, subscription-manager This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register. Setting up Install Process Nothing to do
你至少需要安装 qemu-kvm qemu-img 这两个包。
# yum install qemu-kvm qemu-img
你还可以安装其它工具包：
# yum install virt-manager libvirt libvirt-python python-virtinst libvirt-client
4.3 QEMU/KVM 代码下载编译安装
4.3.1 QEMU/KVM 的代码结构
QEMU/KVM 的代码包括几个部分：
（1）KVM 内核模块是 Linux 内核的一部分。通常 Linux 比较新的发行版（2.6.20+）都包含了 KVM 内核，也可以从这里得到。比如在我的RedHat 6.5 上：
[root@rh65 isoimages]# uname -r 2.6.32-431.el6.x86_64 [root@rh65 isoimages]# modprobe -l | grep kvm kernel/arch/x86/kvm/kvm.ko kernel/arch/x86/kvm/kvm-intel.ko kernel/arch/x86/kvm/kvm-amd.ko
（2）用户空间的工具即 qemu-kvm。qemu-kvm 是 KVM 项目从 QEMU 新拉出的一个分支（看这篇文章）。在 QEMU 1.3 版本之前，QEMU 和 QEMU-KVM 是有区别的，但是从 2012 年底 GA 的 QEMU 1.3 版本开始，两者就完全一样了。
（3）Linux Guest OS virtio 驱动，也是较新的Linux 内核的一部分了。
（4）Windows Guest OS virtio 驱动，可以从这里下载。
4.3.2 安装 QEMU
RedHat 6.5 上自带的 QEMU 太老，0.12.0 版本，最新版本都到了 2.* 了。
（1）. 参考 这篇文章，将 RedHat 6.5 的 ISO 文件当作本地源
mount -o loop soft/rhel-server-6.4-x86_64-dvd.iso /mnt/rhel6/
vim /etc/fstab
=> /root/isoimages/soft/RHEL6.5-20131111.0-Server-x86_64-DVD1.iso /mnt/rhel6 iso9660 ro,loop
[root@rh65 qemu-2.3.0]# cat /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt/rhel6/
enabled=1
gpgcjeck=0
|
1
|
yum clean all
yum update |
（2）. 安装依赖包包
yum install gcc yum install autoconf yum install autoconf automake libtool yum install -y glib* yum install zlib*
（3）. 从 http://wiki.qemu.org/Download 下载代码，上传到我的编译环境 RedHat 6.5.
tar -jzvf qemu-2.3.0.tar.bz2 cd qemu-2.3.0 ./configure make -j 4 make install
（4）. 安装完成
[root@rh65 qemu-2.3.0]# /usr/local/bin/qemu-x86_64 -version qemu-x86_64 version 2.3.0, Copyright (c) 2003-2008 Fabrice Bellard
（5）. 为方便起见，创建一个link
ln -s /usr/bin/qemu-system-x86_64 /usr/bin/qemu-kvm
4.3.3 安装 libvirt
可以从 libvirt 官网下载安装包。最新的版本是 0.10.2.
5. 创建 KVM 虚机的几种方式
5.1 使用 virt-install 命令
virt-install \ --name=guest1-rhel5-64 \ --file=/var/lib/libvirt/images/guest1-rhel5-64.dsk \ --file-size=8 \ --nonsparse --graphics spice \ --vcpus=2 --ram=2048 \ --location=http://example1.com/installation_tree/RHEL5.6-Serverx86_64/os \ --network bridge=br0 \ --os-type=linux \ --os-variant=rhel5.4
5.2 使用 virt-manager 工具
使用 VMM GUI 创建的虚机的xml 定义文件在 /etc/libvirt/qemu/ 目录中。
5.3 使用 qemu-img 和 qemu-kvm 命令行方式安装
（1）创建一个空的qcow2格式的镜像文件
qemu-img create -f qcow2 windows-master.qcow2 10G
（2）启动一个虚机，将系统安装盘挂到 cdrom，安装操作系统
qemu-kvm -hda windows-master.qcow2 -m 512 -boot d -cdrom /home/user/isos/en_winxp_pro_with_sp2.iso
（3）现在你就拥有了一个带操作系统的镜像文件。你可以以它为模板创建新的镜像文件。使用模板的好处是，它会被设置为只读所以可以免于破坏。
qemu-img create -b windows-master.qcow2 -f qcow2 windows-clone.qcow2
（4）你可以在新的镜像文件上启动虚机了
qemu-kvm -hda windows-clone.qcow2 -m 400
5.4 通过 OpenStack Nova 使用 libvirt API 通过编程方式来创建虚机 （后面会介绍）
KVM 介绍（2）：CPU 和内存虚拟化
学习 KVM 的系列文章：
- （1）介绍和安装
- （2）CPU 和 内存虚拟化
- （3）I/O QEMU 全虚拟化和准虚拟化（Para-virtulizaiton）
- （4）I/O PCI/PCIe设备直接分配和 SR-IOV
- （5）libvirt 介绍
- （6）Nova 通过 libvirt 管理 QEMU/KVM 虚机
- （7）快照 （snapshot）
- （8）迁移 （migration）
1. 为什么需要 CPU 虚拟化
- 操作系统（内核）需要直接访问硬件和内存，因此它的代码需要运行在最高运行级别 Ring0上，这样它可以使用特权指令，控制中断、修改页表、访问设备等等。
- 应用程序的代码运行在最低运行级别上ring3上，不能做受控操作。如果要做，比如要访问磁盘，写文件，那就要通过执行系统调用（函数），执行系统调用的时候，CPU的运行级别会发生从ring3到ring0的切换，并跳转到系统调用对应的内核代码位置执行，这样内核就为你完成了设备访问，完成之后再从ring0返回ring3。这个过程也称作用户态和内核态的切换。
1.1 基于二进制翻译的全虚拟化（Full Virtualization with Binary Translation）
1.2. 超虚拟化（或者半虚拟化/操作系统辅助虚拟化 Paravirtualization）
1.3. 硬件辅助的全虚拟化
|
|
利用二进制翻译的全虚拟化
|
硬件辅助虚拟化
|
操作系统协助/半虚拟化
|
| 实现技术 |
BT
和直接执行
|
遇到特权指令转到root模式执行
|
Hypercall
|
| 客户操作系统修改/兼容性 |
无需修改客户操作系统，最佳兼容性
|
无需修改客户操作系统，最佳兼容性
|
客户操作系统需要修改来支持hypercall，因此它不能运行在物理硬件本身或其他的hypervisor上，兼容性差，不支持Windows
|
| 性能 |
差
|
全虚拟化下，CPU需要在两种模式之间切换，带来性能开销；但是，其性能在逐渐逼近半虚拟化。
|
好。半虚拟化下CPU性能开销几乎为0，虚机的性能接近于物理机。
|
| 应用厂商 |
VMware Workstation/QEMU/Virtual PC
|
VMware ESXi/Microsoft Hyper-V/Xen 3.0/KVM
|
Xen
|
2. KVM CPU 虚拟化
KVM 是基于CPU 辅助的全虚拟化方案，它需要CPU虚拟化特性的支持。
2.1. CPU 物理特性
这个命令查看主机上的CPU 物理情况：
[s1@rh65 ~]$ numactl --hardware available: 2 nodes (0-1) //2颗CPU node 0 cpus: 0 1 2 3 4 5 12 13 14 15 16 17 //这颗 CPU 有8个内核 node 0 size: 12276 MB node 0 free: 7060 MB node 1 cpus: 6 7 8 9 10 11 18 19 20 21 22 23 node 1 size: 8192 MB node 1 free: 6773 MB node distances: node 0 1 0: 10 21 1: 21 10
要支持 KVM， Intel CPU 的 vmx 或者 AMD CPU 的 svm 扩展必须生效了：
[root@rh65 s1]# egrep "(vmx|svm)" /proc/cpuinfo flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm arat epb dts tpr_shadow vnmi flexpriority ept vpid
2.2 多 CPU 服务器架构：SMP，NMP，NUMA
从系统架构来看，目前的商用服务器大体可以分为三类：
- 多处理器结构 (SMP ： Symmetric Multi-Processor)：所有的CPU共享全部资源，如总线，内存和I/O系统等，操作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所有资源。多个CPU之间没有区别，平等地访问内存、外设、一个操作系统。SMP 服务器的主要问题，那就是它的扩展能力非常有限。实验证明， SMP 服务器 CPU 利用率最好的情况是 2 至 4 个 CPU 。
- 海量并行处理结构 (MPP ： Massive Parallel Processing) ：NUMA 服务器的基本特征是具有多个 CPU 模块，每个 CPU 模块由多个 CPU( 如 4 个 ) 组成，并且具有独立的本地内存、 I/O 槽口等。在一个物理服务器内可以支持上百个 CPU 。但 NUMA 技术同样有一定缺陷，由于访问远地内存的延时远远超过本地内存，因此当 CPU 数量增加时，系统性能无法线性增加。
- MPP 模式则是一种分布式存储器模式，能够将更多的处理器纳入一个系统的存储器。一个分布式存储器模式具有多个节点，每个节点都有自己的存储器，可以配置为SMP模式，也可以配置为非SMP模式。单个的节点相互连接起来就形成了一个总系统。MPP可以近似理解成一个SMP的横向扩展集群，MPP一般要依靠软件实现。
- 非一致存储访问结构 (NUMA ： Non-Uniform Memory Access)：它由多个 SMP 服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个 SMP 服务器 ( 每个 SMP 服务器称节点 ) 通过节点互联网络连接而成，每个节点只访问自己的本地资源 ( 内存、存储等 ) ，是一种完全无共享 (Share Nothing) 结构。
详细描述可以参考 SMP、NUMA、MPP体系结构介绍。
查看你的服务器的 CPU 架构：
[root@rh65 s1]# uname -a Linux rh65 2.6.32-431.el6.x86_64 #1 SMP Sun Nov 10 22:19:54 EST 2013 x86_64 x86_64 x86_64 GNU/Linux #这服务器是 SMP 架构
2.2 KVM CPU 虚拟化
2.2.1 KVM 虚机的创建过程
可见：
（1）qemu-kvm 通过对 /dev/kvm 的 一系列 ICOTL 命令控制虚机，比如
open("/dev/kvm", O_RDWR|O_LARGEFILE) = 3 ioctl(3, KVM_GET_API_VERSION, 0) = 12 ioctl(3, KVM_CHECK_EXTENSION, 0x19) = 0 ioctl(3, KVM_CREATE_VM, 0) = 4 ioctl(3, KVM_CHECK_EXTENSION, 0x4) = 1 ioctl(3, KVM_CHECK_EXTENSION, 0x4) = 1 ioctl(4, KVM_SET_TSS_ADDR, 0xfffbd000) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0x25) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0xb) = 1 ioctl(4, KVM_CREATE_PIT, 0xb) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0xf) = 2 ioctl(3, KVM_CHECK_EXTENSION, 0x3) = 1 ioctl(3, KVM_CHECK_EXTENSION, 0) = 1 ioctl(4, KVM_CREATE_IRQCHIP, 0) = 0 ioctl(3, KVM_CHECK_EXTENSION, 0x1a) = 0
（2）一个 KVM 虚机即一个 Linux qemu-kvm 进程，与其他 Linux 进程一样被Linux 进程调度器调度。
（3）KVM 虚机包括虚拟内存、虚拟CPU和虚机 I/O设备，其中，内存和 CPU 的虚拟化由 KVM 内核模块负责实现，I/O 设备的虚拟化由 QEMU 负责实现。
（3）KVM户机系统的内存是 qumu-kvm 进程的地址空间的一部分。
（4）KVM 虚机的 vCPU 作为 线程运行在 qemu-kvm 进程的上下文中。
vCPU、QEMU 进程、LInux 进程调度和物理CPU之间的逻辑关系：
2.2.2 因为 CPU 中的虚拟化功能的支持，并不存在虚拟的 CPU，KVM Guest 代码是运行在物理 CPU 之上
根据上面的 1.3 章节，支持虚拟化的 CPU 中都增加了新的功能。以 Intel VT 技术为例，它增加了两种运行模式：VMX root 模式和 VMX nonroot 模式。通常来讲，主机操作系统和 VMM 运行在 VMX root 模式中，客户机操作系统及其应用运行在 VMX nonroot 模式中。因为两个模式都支持所有的 ring，因此，客户机可以运行在它所需要的 ring 中（OS 运行在 ring 0 中，应用运行在 ring 3 中），VMM 也运行在其需要的 ring 中 （对 KVM 来说，QEMU 运行在 ring 3，KVM 运行在 ring 0）。CPU 在两种模式之间的切换称为 VMX 切换。从 root mode 进入 nonroot mode，称为 VM entry；从 nonroot mode 进入 root mode，称为 VM exit。可见，CPU 受控制地在两种模式之间切换，轮流执行 VMM 代码和 Guest OS 代码。
对 KVM 虚机来说，运行在 VMX Root Mode 下的 VMM 在需要执行 Guest OS 指令时执行 VMLAUNCH 指令将 CPU 转换到 VMX non-root mode，开始执行客户机代码，即 VM entry 过程；在 Guest OS 需要退出该 mode 时，CPU 自动切换到 VMX Root mode，即 VM exit 过程。可见，KVM 客户机代码是受 VMM 控制直接运行在物理 CPU 上的。QEMU 只是通过 KVM 控制虚机的代码被 CPU 执行，但是它们本身并不执行其代码。也就是说，CPU 并没有真正的被虚级化成虚拟的 CPU 给客户机使用。
这篇文章 是关于 vSphere 中 CPU 虚拟化的，我觉得它和 KVM CPU 虚拟化存在很大的一致。下图是使用 2 socket 2 core 共 4 个 vCPU 的情形：
几个概念：socket （颗，CPU 的物理单位），core （核，每个 CPU 中的物理内核），thread （超线程，通常来说，一个 CPU core 只提供一个 thread，这时客户机就只看到一个 CPU；但是，超线程技术实现了 CPU 核的虚拟化，一个核被虚拟化出多个逻辑 CPU，可以同时运行多个线程）。
上图分三层，他们分别是是VM层，VMKernel层和物理层。对于物理服务器而言，所有的CPU资源都分配给单独的操作系统和上面运行的应用。应用将请求先发送给操作系统，然后操作系统调度物理的CPU资源。在虚拟化平台比如 KVM 中，在VM层和物理层之间加入了VMkernel层，从而允许所有的VM共享物理层的资源。VM上的应用将请求发送给VM上的操作系统，然后操纵系统调度Virtual CPU资源（操作系统认为Virtual CPU和物理 CPU是一样的），然后VMkernel层对多个物理CPU Core进行资源调度，从而满足Virtual CPU的需要。在虚拟化平台中OS CPU Scheduler和Hyperviisor CPU Scheduler都在各自的领域内进行资源调度。
KVM 中，可以指定 socket，core 和 thread 的数目，比如 设置 “-smp 5,sockets=5,cores=1,threads=1”，则 vCPU 的数目为 5*1*1 = 5。客户机看到的是基于 KVM vCPU 的 CPU 核，而 vCPU 作为 QEMU 线程被 Linux 作为普通的线程/轻量级进程调度到物理的 CPU 核上。至于你是该使用多 socket 和 多core，这篇文章 有仔细的分析，其结论是在 VMware ESXi 上，性能没什么区别，只是某些客户机操作系统会限制物理 CPU 的数目，这种情况下，可以使用少 socket 多 core。
2.2.3 客户机系统的代码是如何运行的
一个普通的 Linux 内核有两种执行模式：内核模式（Kenerl）和用户模式 （User）。为了支持带有虚拟化功能的 CPU，KVM 向 Linux 内核增加了第三种模式即客户机模式（Guest），该模式对应于 CPU 的 VMX non-root mode。
KVM 内核模块作为 User mode 和 Guest mode 之间的桥梁：
- User mode 中的 QEMU-KVM 会通过 ICOTL 命令来运行虚拟机
- KVM 内核模块收到该请求后，它先做一些准备工作，比如将 VCPU 上下文加载到 VMCS （virtual machine control structure）等，然后驱动 CPU 进入 VMX non-root 模式，开始执行客户机代码
三种模式的分工为：
- Guest 模式：执行客户机系统非 I/O 代码，并在需要的时候驱动 CPU 退出该模式
- Kernel 模式：负责将 CPU 切换到 Guest mode 执行 Guest OS 代码，并在 CPU 退出 Guest mode 时回到 Kenerl 模式
- User 模式：代表客户机系统执行 I/O 操作
(来源)
QEMU-KVM 相比原生 QEMU 的改动：
- 原生的 QEMU 通过指令翻译实现 CPU 的完全虚拟化，但是修改后的 QEMU-KVM 会调用 ICOTL 命令来调用 KVM 模块。
- 原生的 QEMU 是单线程实现，QEMU-KVM 是多线程实现。
主机 Linux 将一个虚拟视作一个 QEMU 进程，该进程包括下面几种线程：
- I/O 线程用于管理模拟设备
- vCPU 线程用于运行 Guest 代码
- 其它线程，比如处理 event loop，offloaded tasks 等的线程
在我的测试环境中（RedHata Linux 作 Hypervisor）：
| smp 设置的值 | 线程数 | 线程 |
| 4 | 8 | 1 个主线程（I/O 线程）、4 个 vCPU 线程、3 个其它线程 |
| 6 | 10 | 1 个主线程（I/O 线程）、6 个 vCPU 线程、3 个其它线程 |
这篇文章 谈谈了这些线程的情况。
(来源)
| 客户机代码执行（客户机线程） | I/O 线程 | 非 I/O 线程 |
| 虚拟CPU（主机 QEMU 线程） | QEMU I/O 线程 | QEMU vCPU 线程 |
| 物理 CPU | 物理 CPU 的 VMX non-root 模式中 | 物理 CPU 的 VMX non-root 模式中 |
2.2.4 从客户机线程到物理 CPU 的两次调度
要将客户机内的线程调度到某个物理 CPU，需要经历两个过程：
- 客户机线程调度到客户机物理CPU 即 KVM vCPU，该调度由客户机操作系统负责，每个客户机操作系统的实现方式不同。在 KVM 上，vCPU 在客户机系统看起来就像是物理 CPU，因此其调度方法也没有什么不同。
- vCPU 线程调度到物理 CPU 即主机物理 CPU，该调度由 Hypervisor 即 Linux 负责。
KVM 使用标准的 Linux 进程调度方法来调度 vCPU 进程。Linux 系统中，线程和进程的区别是 进程有独立的内核空间，线程是代码的执行单位，也就是调度的基本单位。Linux 中，线程是就是轻量级的进程，也就是共享了部分资源(地址空间、文件句柄、信号量等等)的进程，所以线程也按照进程的调度方式来进行调度。
（1）Linux 进程调度原理可以参考 这篇文章 和 这篇文章。通常情况下，在SMP系统中，Linux内核的进程调度器根据自有的调度策略将系统中的一个可运行（runable）进程调度到某个CPU上执行。下面是 Linux 进程的状态机：
（2）处理器亲和性：可以设置 vCPU 在指定的物理 CPU 上运行，具体可以参考这篇文章 和 这篇文章。
根据 Linux 进程调度策略，可以看出，在 Linux 主机上运行的 KVM 客户机 的总 vCPU 数目最好是不要超过物理 CPU 内核数，否则，会出现线程间的 CPU 内核资源竞争，导致有虚机因为 vCPU 进程等待而导致速度很慢。
关于这两次调度，业界有很多的研究，比如上海交大的论文 Schedule Processes, not VCPUs 提出动态地减少 vCPU 的数目即减少第二次调度。
另外，这篇文章 谈到的是 vSphere CPU 的调度方式，有空的时候可以研究下并和 KVM vCPU 的调度方式进行比较。
2.3 客户机CPU结构和模型
KVM 支持 SMP 和 NUMA 多CPU架构的主机和客户机。对 SMP 类型的客户机，使用 “-smp”参数：
-smp [,cores=][,threads=][,sockets=][,maxcpus=]
对 NUMA 类型的客户机，使用 “-numa”参数：
-numa [,mem=][,cpus=]][,nodeid=]
[root@rh65 s1]# kvm -cpu ? x86 Opteron_G5 AMD Opteron 63xx class CPU x86 Opteron_G4 AMD Opteron 62xx class CPU x86 Opteron_G3 AMD Opteron 23xx (Gen 3 Class Opteron) x86 Opteron_G2 AMD Opteron 22xx (Gen 2 Class Opteron) x86 Opteron_G1 AMD Opteron 240 (Gen 1 Class Opteron) x86 Haswell Intel Core Processor (Haswell) x86 SandyBridge Intel Xeon E312xx (Sandy Bridge) x86 Westmere Westmere E56xx/L56xx/X56xx (Nehalem-C) x86 Nehalem Intel Core i7 9xx (Nehalem Class Core i7) x86 Penryn Intel Core 2 Duo P9xxx (Penryn Class Core 2) x86 Conroe Intel Celeron_4x0 (Conroe/Merom Class Core 2) x86 cpu64-rhel5 QEMU Virtual CPU version (cpu64-rhel5) x86 cpu64-rhel6 QEMU Virtual CPU version (cpu64-rhel6) x86 n270 Intel(R) Atom(TM) CPU N270 @ 1.60GHz x86 athlon QEMU Virtual CPU version 0.12.1 x86 pentium3 x86 pentium2 x86 pentium x86 486 x86 coreduo Genuine Intel(R) CPU T2600 @ 2.16GHz x86 qemu32 QEMU Virtual CPU version 0.12.1 x86 kvm64 Common KVM processor x86 core2duo Intel(R) Core(TM)2 Duo CPU T7700 @ 2.40GHz x86 phenom AMD Phenom(tm) 9550 Quad-Core Processor x86 qemu64 QEMU Virtual CPU version 0.12.1 Recognized CPUID flags: f_edx: pbe ia64 tm ht ss sse2 sse fxsr mmx acpi ds clflush pn pse36 pat cmov mca pge mtrr sep apic cx8 mce pae msr tsc pse de vme fpu f_ecx: hypervisor rdrand f16c avx osxsave xsave aes tsc-deadline popcnt movbe x2apic sse4.2|sse4_2 sse4.1|sse4_1 dca pcid pdcm xtpr cx16 fma cid ssse3 tm2 est smx vmx ds_cpl monitor dtes64 pclmulqdq|pclmuldq pni|sse3 extf_edx: 3dnow 3dnowext lm|i64 rdtscp pdpe1gb fxsr_opt|ffxsr fxsr mmx mmxext nx|xd pse36 pat cmov mca pge mtrr syscall apic cx8 mce pae msr tsc pse de vme fpu extf_ecx: perfctr_nb perfctr_core topoext tbm nodeid_msr tce fma4 lwp wdt skinit xop ibs osvw 3dnowprefetch misalignsse sse4a abm cr8legacy extapic svm cmp_legacy lahf_lm [root@rh65 s1]#
每个 Hypervisor 都有自己的策略，来定义默认上哪些CPU功能会被暴露给客户机。至于哪些功能会被暴露给客户机系统，取决于客户机的配置。qemu32 和 qemu64 是基本的客户机 CPU 模型，但是还有其他的模型可以使用。你可以使用 qemu-kvm 命令的 -cpu 参数来指定客户机的 CPU 模型，还可以附加指定的 CPU 特性。"-cpu" 会将该指定 CPU 模型的所有功能全部暴露给客户机，即使某些特性在主机的物理CPU上不支持，这时候QEMU/KVM 会模拟这些特性，因此，这时候也许会出现一定的性能下降。
RedHat Linux 6 上使用默认的 cpu64-rhe16 作为客户机 CPU model：
你可以指定特定的 CPU model 和 feature：
qemu-kvm -cpu Nehalem,+aes
你也可以直接使用 -cpu host，这样的话会客户机使用和主机相同的 CPU model。
2.4 客户机 vCPU 数目的分配方法
- 不是客户机的 vCPU 越多，其性能就越好，因为线程切换会耗费大量的时间；应该根据负载需要分配最少的 vCPU。
- 主机上的客户机的 vCPU 总数不应该超过物理 CPU 内核总数。不超过的话，就不存在 CPU 竞争，每个 vCPU 线程在一个物理 CPU 核上被执行；超过的话，会出现部分线程等待 CPU 以及一个 CPU 核上的线程之间的切换，这会有 overhead。
- 将负载分为计算负载和 I/O 负载，对计算负载，需要分配较多的 vCPU，甚至考虑 CPU 亲和性，将指定的物理 CPU 核分给给这些客户机。
这篇文章 （http://my.oschina.net/chape/blog/173981） 介绍了一些指导性方法，摘要如下：
我们来假设一个主机有 2 个socket，每个 socket 有 4 个core。主频2.4G MHZ 那么一共可用的资源是 2*4*2.4G= 19.2G MHZ。假设主机上运行了三个VM，VM1和VM2设置为1socket*1core，VM3设置为1socket*2core。那么VM1和VM2分别有1个vCPU，而VM3有2个vCPU。假设其他设置为缺省设置。
那么三个VM获得该主机CPU资源分配如下：VM1：25%； VM2：25%； VM3:50%
假设运行在VM3上的应用支持多线程，那么该应用可以充分利用到所非配的CPU资源。2vCPU的设置是合适的。假设运行在VM3上的应用不支持多线程，该应用根本无法同时使用利用2个vCPU. 与此同时，VMkernal层的CPU Scheduler必须等待物理层中两个空闲的pCPU，才开始资源调配来满足2个vCPU的需要。在仅有2vCPU的情况下，对该VM的性能不会有太大负面影响。但如果分配4vCPU或者更多，这种资源调度上的负担有可能会对该VM上运行的应用有很大负面影响。
确定 vCPU 数目的步骤。假如我们要创建一个VM，以下几步可以帮助确定合适的vCPU数目
1 了解应用并设置初始值
该应用是否是关键应用，是否有Service Level Agreement。一定要对运行在虚拟机上的应用是否支持多线程深入了解。咨询应用的提供商是否支持多线程和SMP（Symmetricmulti-processing）。参考该应用在物理服务器上运行时所需要的CPU个数。如果没有参照信息，可设置1vCPU作为初始值，然后密切观测资源使用情况。
2 观测资源使用情况
确定一个时间段，观测该虚拟机的资源使用情况。时间段取决于应用的特点和要求，可以是数天，甚至数周。不仅观测该VM的CPU使用率，而且观测在操作系统内该应用对CPU的占用率。特别要区分CPU使用率平均值和CPU使用率峰值。
假如分配有4个vCPU，如果在该VM上的应用的CPU
- 使用峰值等于25%， 也就是仅仅能最多使用25%的全部CPU资源，说明该应用是单线程的，仅能够使用一个vCPU （4 * 25% = 1 ）
- 平均值小于38%，而峰值小于45%，考虑减少 vCPU 数目
- 平均值大于75%，而峰值大于90%，考虑增加 vCPU 数目
3 更改vCPU数目并观测结果
每次的改动尽量少，如果可能需要4vCPU，先设置2vCPU在观测性能是否可以接受。
2. KVM 内存虚拟化
2.1 内存虚拟化的概念
- 软件方式：通过软件实现内存地址的翻译，比如 Shadow page table （影子页表）技术
- 硬件实现：基于 CPU 的辅助虚拟化功能，比如 AMD 的 NPT 和 Intel 的 EPT 技术
2.2 KVM 内存虚拟化
- AMD 平台上的 NPT （Nested Page Tables） 技术
- Intel 平台上的 EPT （Extended Page Tables）技术
EPT 和 NPT采用类似的原理，都是作为 CPU 中新的一层，用来将客户机的物理地址翻译为主机的物理地址。关于 EPT， Intel 官方文档中的技术如下（实在看不懂...）
EPT的好处是，它的两阶段记忆体转换，特点就是将 Guest Physical Address → System Physical Address，VMM不用再保留一份 SPT (Shadow Page Table)，以及以往还得经过 SPT 这个转换过程。除了降低各部虚拟机器在切换时所造成的效能损耗外，硬体指令集也比虚拟化软体处理来得可靠与稳定。
2.3 KSM （Kernel SamePage Merging 或者 Kernel Shared Memory）
KSM 在 Linux 2.6.32 版本中被加入到内核中。
2.3.1 原理
其原理是，KSM 作为内核中的守护进程（称为 ksmd）存在，它定期执行页面扫描，识别副本页面并合并副本，释放这些页面以供它用。因此，在多个进程中，Linux将内核相似的内存页合并成一个内存页。这个特性，被KVM用来减少多个相似的虚拟机的内存占用，提高内存的使用效率。由于内存是共享的，所以多个虚拟机使用的内存减少了。这个特性，对于虚拟机使用相同镜像和操作系统时，效果更加明显。但是，事情总是有代价的，使用这个特性，都要增加内核开销，用时间换空间。所以为了提高效率，可以将这个特性关闭。
2.3.2 好处
其好处是，在运行类似的客户机操作系统时，通过 KSM，可以节约大量的内存，从而可以实现更多的内存超分，运行更多的虚机。
2.3.3 合并过程
（1）初始状态：
（2）合并后：
（3）Guest 1 写内存后：
2.4 KVM Huge Page Backed Memory （巨页内存技术）
这是KVM虚拟机的又一个优化技术.。Intel 的 x86 CPU 通常使用4Kb内存页，当是经过配置，也能够使用巨页(huge page): (4MB on x86_32, 2MB on x86_64 and x86_32 PAE)
使用巨页，KVM的虚拟机的页表将使用更少的内存，并且将提高CPU的效率。最高情况下，可以提高20%的效率！
使用方法，需要三部：
mkdir /dev/hugepages
mount -t hugetlbfs hugetlbfs /dev/hugepages
#保留一些内存给巨页 sysctl vm.nr_hugepages=2048 （使用 x86_64 系统时，这相当于从物理内存中保留了2048 x 2M = 4GB 的空间来给虚拟机使用）
#给 kvm 传递参数 hugepages qemu-kvm - qemu-kvm -mem-path /dev/hugepages
也可以在配置文件里加入：
验证方式，当虚拟机正常启动以后，在物理机里查看：
cat /proc/meminfo |grep -i hugepages
老外的一篇文档，他使用的是libvirt方式，先让libvirtd进程使用hugepages空间，然后再分配给虚拟机。
参考资料：
http://www.cnblogs.com/xusongwei/archive/2012/07/30/2615592.html
https://www.ibm.com/developerworks/cn/linux/l-cn-vt/
http://www.slideshare.net/HwanjuKim/3cpu-virtualization-and-scheduling
http://www.cse.iitb.ac.in/~puru/courses/autumn12/cs695/classes/kvm-overview.pdf
http://www.linux-kvm.com/content/using-ksm-kernel-samepage-merging-kvm
http://blog.csdn.net/summer_liuwei/article/details/6013255
http://blog.pchome.net/article/458429.html
http://blog.chinaunix.net/uid-20794164-id-3601787.html
虚拟化技术性能比较和分析，周斌，张莹
http://wiki.qemu.org/images/c/c8/Cpu-models-and-libvirt-devconf-2014.pdf
http://frankdenneman.nl/2011/01/11/beating-a-dead-horse-using-cpu-affinity/
KVM 介绍（3）：I/O 全虚拟化和准虚拟化 [KVM I/O QEMU Full-Virtualizaiton Para-virtualization]
学习 KVM 的系列文章：
- （1）介绍和安装
- （2）CPU 和 内存虚拟化
- （3）I/O QEMU 全虚拟化和准虚拟化（Para-virtulizaiton）
- （4）I/O PCI/PCIe设备直接分配和 SR-IOV
- （5）libvirt 介绍
- （6）Nova 通过 libvirt 管理 QEMU/KVM 虚机
- （7）快照 （snapshot）
- （8）迁移 （migration）
1. 全虚拟化 I/O 设备
1.1 原理
- 客户机的设备驱动程序发起 I/O 请求操作请求
- KVM 模块中的 I/O 操作捕获代码拦截这次 I/O 请求
- 经过处理后将本次 I/O 请求的信息放到 I/O 共享页 （sharing page），并通知用户空间的 QEMU 程序。
- QEMU 程序获得 I/O 操作的具体信息之后，交由硬件模拟代码来模拟出本次 I/O 操作。
- 完成之后，QEMU 将结果放回 I/O 共享页，并通知 KMV 模块中的 I/O 操作捕获代码。
- KVM 模块的捕获代码读取 I/O 共享页中的操作结果，并把结果放回客户机。
1.2 QEMU 模拟网卡的实现
Qemu 纯软件的方式来模拟I/O设备，其中包括经常使用的网卡设备。Guest OS启动命令中没有传入的网络配置时，QEMU默认分配 rtl8139 类型的虚拟网卡类型，使用的是默认用户配置模式，这时候由于没有具体的网络模式的配置，Guest的网络功能是有限的。 全虚拟化情况下，KVM虚机可以选择的网络模式包括：
- 默认用户模式（User）；
- 基于网桥(Bridge)的模式；
- 基于NAT(Network Address Translation)的模式；
分别使用的 qemu-kvm 参数为：
- -net user[,vlan=n]：使用用户模式网络堆栈,这样就不需要管理员权限来运行.如果没有指 定-net选项,这将是默认的情况.-net tap[,vlan=n][,fd=h]
- -net nic[,vlan=n][,macaddr=addr]：创建一个新的网卡并与VLAN n(在默认的情况下n=0)进行连接。作为可选项的项目,MAC地址可以进行改变.如果 没有指定-net选项,则会创建一个单一的NIC.
- -net tap[,vlan=n][,fd=h][,ifname=name][,script=file]：将TAP网络接口 name 与 VLAN n 进行连接,并使用网络配置脚本文件进行 配置。默认的网络配置脚本为/etc/qemu-ifup。如果没有指定name,OS 将会自动指定一个。fd=h可以用来指定一个已经打开的TAP主机接口的句柄。
网桥模式是目前比较简单，也是用的比较多的模式，下图是网桥模式下的 VM的收发包的流程。
如图中所示，红色箭头表示数据报文的入方向，步骤：
- 网络数据从 Host 上的物理网卡接收，到达网桥；
- 由于 eth0 与 tap1 均加入网桥中，根据二层转发原则，br0 将数据从 tap1 口转发出去，即数据由 Tap设备接收；
- Tap 设备通知对应的 fd 数据可读；
- fd 的读动作通过 tap 设备的字符设备驱动将数据拷贝到用户空间，完成数据报文的前端接收。
1.3 RedHat Linux 6 中提供的模拟设备
- 模拟显卡：提供2块模拟显卡。
- 系统组件：
- ntel i440FX host PCI bridge
- PIIX3 PCI to ISA bridge
- PS/2 mouse and keyboard
- EvTouch USB Graphics Tablet
- PCI UHCI USB controller and a virtualized USB hub
- Emulated serial ports
- EHCI controller, virtualized USB storage and a USB mouse
- 模拟的声卡：intel-hda
- 模拟网卡：e1000，模拟 Intel E1000 网卡；rtl8139，模拟 RealTeck 8139 网卡。
- 模拟存储卡：两块模拟 PCI IDE 接口卡。KVM 限制每个虚拟机最多只能有4块虚拟存储卡。还有模拟软驱。
注意：RedHat Linux KVM 不支持 SCSI 模拟。
1.4 qemu-kvm 关于磁盘设备和网络的主要选项
| 类型 | 选项 |
| 磁盘设备（软盘、硬盘、CDROM等） | -drive option[,option[,option[,...]]]：定义一个硬盘设备；可用子选项有很多。 file=/path/to/somefile：硬件映像文件路径； if=interface：指定硬盘设备所连接的接口类型，即控制器类型，如ide、scsi、sd、mtd、floppy、pflash及virtio等； index=index：设定同一种控制器类型中不同设备的索引号，即标识号； media=media：定义介质类型为硬盘(disk)还是光盘(cdrom)； format=format：指定映像文件的格式，具体格式可参见qemu-img命令； -boot [order=drives][,once=drives][,menu=on|off]：定义启动设备的引导次序，每种设备使用一个字符表示；不同的架构所支持的设备及其表示字符不尽相同，在x86 PC架构上，a、b表示软驱、c表示第一块硬盘，d表示第一个光驱设备，n-p表示网络适配器；默认为硬盘设备(-boot order=dc,once=d) |
| 网络 |
-net nic[,vlan=n][,macaddr=mac][,model=type][,name=name][,addr=addr][,vectors=v]：创建一个新的网卡设备并连接至vlan n中；PC架构上默认的NIC为e1000，macaddr用于为其指定MAC地址，name用于指定一个在监控时显示的网上设备名称；emu可以模拟多个类型的网卡设备；可以使用“qemu-kvm -net nic,model=?”来获取当前平台支持的类型；
-net tap[,vlan=n][,name=name][,fd=h][,ifname=name][,script=file][,downscript=dfile]：通过物理机的TAP网络接口连接至vlan n中，使用script=file指定的脚本(默认为/etc/qemu-ifup)来配置当前网络接口，并使用downscript=file指定的脚本(默认为/etc/qemu-ifdown)来撤消接口配置；使用script=no和downscript=no可分别用来禁止执行脚本；
-net user[,option][,option][,...]：在用户模式配置网络栈，其不依赖于管理权限；有效选项有：
vlan=n：连接至vlan n，默认n=0；
name=name：指定接口的显示名称，常用于监控模式中；
net=addr[/mask]：设定GuestOS可见的IP网络，掩码可选，默认为10.0.2.0/8；
host=addr：指定GuestOS中看到的物理机的IP地址，默认为指定网络中的第二个，即x.x.x.2；
dhcpstart=addr：指定DHCP服务地址池中16个地址的起始IP，默认为第16个至第31个，即x.x.x.16-x.x.x.31；
dns=addr：指定GuestOS可见的dns服务器地址；默认为GuestOS网络中的第三个地址，即x.x.x.3；
tftp=dir：激活内置的tftp服务器，并使用指定的dir作为tftp服务器的默认根目录；
bootfile=file：BOOTP文件名称，用于实现网络引导GuestOS；如：qemu -hda linux.img -boot n -net user,tftp=/tftpserver/pub,bootfile=/pxelinux.0
|
对于网卡来说，你可以使用 modle 参数指定虚拟网络的类型。 RedHat Linux 6 所支持的虚拟网络类型有：
[root@rh65 isoimages]# kvm -net nic,model=? qemu: Supported NIC models: ne2k_pci,i82551,i82557b,i82559er,rtl8139,e1000,pcnet,virtio
2. 准虚拟化 （Para-virtualizaiton） I/O 驱动 virtio
2.1 virtio 的架构
2.2 Virtio 在 Linux 中的实现
- 前端驱动：客户机中安装的驱动程序模块
- 后端驱动：在 QEMU 中实现，调用主机上的物理设备，或者完全由软件实现。
- virtio 层：虚拟队列接口，从概念上连接前端驱动和后端驱动。驱动可以根据需要使用不同数目的队列。比如 virtio-net 使用两个队列，virtio-block只使用一个队列。该队列是虚拟的，实际上是使用 virtio-ring 来实现的。
- virtio-ring：实现虚拟队列的环形缓冲区
- 块设备（如磁盘）
- 网络设备
- PCI 设备
- 气球驱动程序（动态管理客户机内存使用情况）
- 控制台驱动程序
（1）virtio-net 的原理：
- 多个虚机共享主机网卡 eth0
- QEMU 使用标准的 tun/tap 将虚机的网络桥接到主机网卡上
- 每个虚机看起来有一个直接连接到主机PCI总线上的私有 virtio 网络设备
- 需要在虚机里面安装 virtio驱动
（2）virtio-net 的流程：
- 优点：更高的IO性能，几乎可以和原生系统差不多。
- 缺点：客户机必须安装特定的 virtio 驱动。一些老的 Linux 还没有驱动支持，一些 Windows 需要安装特定的驱动。不过，较新的和主流的OS都有驱动可以下载了。Linux 2.6.24+ 都默认支持 virtio。可以使用 lsmod | grep virtio 查看是否已经加载。
2.3 使用 virtio 设备 （以 virtio-net 为例）
使用 virtio 类型的设备比较简单。较新的 Linux 版本上都已经安装好了 virtio 驱动，而 Windows 的驱动需要自己下载安装。
（1）检查主机上是否支持 virtio 类型的网卡设备
[root@rh65 isoimages]# kvm -net nic,model=? qemu: Supported NIC models: ne2k_pci,i82551,i82557b,i82559er,rtl8139,e1000,pcnet,virtio
（2）指定网卡设备model 为 virtio，启动虚机
（3）通过 vncviewer 登录虚机，能看到被加载了的 virtio-net 需要的内核模块
（4）查看 pci 设备
其它 virtio 类型的设备的使用方式类似 virtio-net。
2.4 vhost-net （kernel-level virtio server）
前面提到 virtio 在宿主机中的后端处理程序（backend）一般是由用户空间的QEMU提供的，然而如果对于网络 I/O 请求的后端处理能够在在内核空间来完成，则效率会更高，会提高网络吞吐量和减少网络延迟。在比较新的内核中有一个叫做 “vhost-net” 的驱动模块，它是作为一个内核级别的后端处理程序，将virtio-net的后端处理任务放到内核空间中执行，减少内核空间到用户空间的切换，从而提高效率。
根据 KVM 官网的这篇文章，vhost-net 能提供更低的延迟（latency）（比 e1000 虚拟网卡低 10%），和更高的吞吐量（throughput）（8倍于普通 virtio，大概 7~8 Gigabits/sec )。
vhost-net 与 virtio-net 的比较：
vhost-net 的要求：
- qemu-kvm-0.13.0 或者以上
- 主机内核中设置 CONFIG_VHOST_NET=y 和在虚机操作系统内核中设置 CONFIG_PCI_MSI=y （Red Hat Enterprise Linux 6.1 开始支持该特性）
- 在客户机内使用 virtion-net 前段驱动
- 在主机内使用网桥模式，并且启动 vhost_net
qemu-kvm 命令的 -net tap 有几个选项和 vhost-net 相关的: -net tap,[,vnet_hdr=on|off][,vhost=on|off][,vhostfd=h][,vhostforce=on|off]
- vnet_hdr =on|off：设置是否打开TAP设备的“IFF_VNET_HDR”标识。“vnet_hdr=off”表示关闭这个标识；“vnet_hdr=on”则强制开启这个标识，如果没有这个标识的支持，则会触发错误。IFF_VNET_HDR是tun/tap的一个标识，打开它则允许发送或接受大数据包时仅仅做部分的校验和检查。打开这个标识，可以提高virtio_net驱动的吞吐量。
- vhost=on|off：设置是否开启vhost-net这个内核空间的后端处理驱动，它只对使用MIS-X中断方式的virtio客户机有效。
- vhostforce=on|off：设置是否强制使用 vhost 作为非MSI-X中断方式的Virtio客户机的后端处理程序。
- vhostfs=h：设置为去连接一个已经打开的vhost网络设备。
vhost-net 的使用实例：
（1）确保主机上 vhost-net 内核模块被加载了
（2）启动一个虚拟机，在客户机中使用 -net 定义一个 virtio-net 网卡，在主机端使用 -netdev 启动 vhost
（3）在虚拟机端，看到 virtio 网卡使用的 TAP 设备为 tap0。
（4）在宿主机中看 vhost-net 被加载和使用了，以及 Linux 桥 br0，它连接物理网卡 eth1 和 客户机使用的 TAP 设备 tap0
一般来说，使用 vhost-net 作为后端处理驱动可以提高网络的性能。不过，对于一些网络负载类型使用 vhost-net 作为后端，却可能使其性能不升反降。特别是从宿主机到其中的客户机之间的UDP流量，如果客户机处理接受数据的速度比宿主机发送的速度要慢，这时就容易出现性能下降。在这种情况下，使用vhost-net将会是UDP socket的接受缓冲区更快地溢出，从而导致更多的数据包丢失。故这种情况下，不使用vhost-net，让传输速度稍微慢一点，反而会提高整体的性能。
使用 qemu-kvm 命令行，加上“vhost=off”（或没有vhost选项）就会不使用vhost-net，而在使用libvirt时，需要对客户机的配置的XML文件中的网络配置部分进行如下的配置，指定后端驱动的名称为“qemu”（而不是“vhost”）。
…
…
2.6 virtio-balloon
另一个比较特殊的 virtio 设备是 virtio-balloon。通常来说，要改变客户机所占用的宿主机内存，要先关闭客户机，修改启动时的内存配置，然后重启客户机才可以实现。而 内存的 ballooning （气球）技术可以在客户机运行时动态地调整它所占用的宿主机内存资源，而不需要关闭客户机。该技术能够：
- 当宿主机内存紧张时，可以请求客户机回收利用已分配给客户机的部分内存，客户机就会释放部分空闲内存。若其内存空间不足，可能还会回收部分使用中的内存，可能会将部分内存换到交换分区中。
- 当客户机内存不足时，也可以让客户机的内存气球压缩，释放出内存气球中的部分内存，让客户机使用更多的内存。
- KVM 发送请求给 VM 让其归还一定数量的内存给KVM。
- VM 的 virtio_balloon 驱动接到该请求。
- VM 的驱动是客户机的内存气球膨胀，气球中的内存就不能被客户机使用。
- VM 的操作系统归还气球中的内存给VMM
- KVM 可以将得到的内存分配到任何需要的地方。
- KM 也可以将内存返还到客户机中。
优势和不足：
| 优势 | 不足 |
|
|
在QEMU monitor中，提供了两个命令查看和设置客户机内存的大小。
- (qemu) info balloon #查看客户机内存占用量（Balloon信息）
- (qemu) balloon num #设置客户机内存占用量为numMB
（1）启动一个虚机，内存为 2048M，启用 virtio-balloon
（2）通过 vncviewer 进入虚机，查看 pci 设备
（3）看看内存情况，共 2G 内存
（4）进入 QEMU Monitor，调整 balloon 内存为 500M
（5）回到虚机，查看内存，变为 500 M
2.7 RedHat 的 多队列 Virtio （multi-queue）
- 网络流量非常大
- 虚机同时有非常多的网络连接，包括虚拟机之间的、虚机到主机的、虚机到外部系统的等
- virtio 队列的数目和虚机的虚拟CPU数目相同。这是因为多队列能够使得一个队列独占一个虚拟CPU。
ethtool -L eth0 combined M ( 1 <= M <= N)
2.8 Windows 客户机的 virtio 前端驱动
- http://linux.web.cern.ch/linux/centos7/docs/rhel/Red_Hat_Enterprise_Linux-7-Virtualization_Tuning_and_Optimization_Guide-en-US.pdf
- http://toast.djw.org.uk/qemu.html
- KVM 官方文档
- KVM 虚拟化技术实战与解析 任永杰、单海涛 著
- RedHat Linux 6 官方文档
- http://www.slideshare.net 中关于 KVM 的一些文档
- http://www.linux-kvm.org/page/Multiqueue
- 以及部分来自于网络，比如 http://smilejay.com/2012/11/use-ballooning-in-kvm/
KVM 介绍（4）：I/O 设备直接分配和 SR-IOV [KVM PCI/PCIe Pass-Through SR-IOV]
学习 KVM 的系列文章：
- （1）介绍和安装
- （2）CPU 和 内存虚拟化
- （3）I/O QEMU 全虚拟化和准虚拟化（Para-virtulizaiton）
- （4）I/O PCI/PCIe设备直接分配和 SR-IOV
- （5）libvirt 介绍
- （6）Nova 通过 libvirt 管理 QEMU/KVM 虚机
- （7）快照 （snapshot）
- （8）迁移 （migration）
本文将分析 PCI/PCIe 设备直接分配（Pass-through）和 SR-IOV， 以及三种 I/O 虚拟化方式的比较。
1. PCI/PCI-E 设备直接分配给虚机 （PCI Pass-through）
设备直接分配 （Device assignment）也称为 Device Pass-Through。
先简单看看PCI 和 PCI-E 的区别（AMD CPU）：
（简单点看，PCI 卡的性能没有 PCI-E 高，因为 PCI-E 是直接连在 IOMMU 上，而 PCI 卡是连在一个 IO Hub 上。）
主要的 PCI 设备类型：
- Network cards (wired or wireless)
- SCSI adapters
- Bus controllers: USB, PCMCIA, I2C, FireWire, IDE
- Graphics and video cards
- Sound cards
1.1 PCI/PCIe Pass-through 原理
硬盘直接分配：
- 一般 SATA 或者 SAS 等类型的硬盘的控制器都是直接接入到 PCI 或者 PCI-E 总线的，所以也可以将硬盘作为普通的PCI设备直接分配个客户机。需要注意的是，当分配硬盘时，实际上将其控制器作为一个整体分配到客户机中，因此需要在硬件平台上至少有另两个或者多个SATA或者 SAS控制器。
1.2 在 RedHat Linux 6 上使用 virt-manger 分配一个光纤卡给虚机
准备工作：
（1）在 BIOS 中打开 Intel VT-d
（2）在 Linux 内核中启用 PCI Pass-through
添加 intel_iommu=on 到 /boot/grub/grub.conf 文件中。（在我的 RedHat Linux 6上，该文件是 /boot/grub.conf）
（3）重启系统，使得配置生效
实际分配：
（1）使用 lspci -nn 命令找到待分配的 PCI 设备。这里以一个 FC 卡为例：
使用 lspci 命令得到的 PCI 数字的含义，以后使用 libvirt API 分配设备时会用到：
（2）使用 virsh nodedev-list 命令找到该设备的 PCI 编号
（3）将设备从主机上解除
（4）使用 virt-manager 将设备直接分配给一个启动了的虚拟机
（5）添加好了后的效果
（6）在虚机中查看该PCI设备
（7）不再使用的话，需要在 virt-manager 中首先将该设备移除，然后在主机上重新挂载该设备
1.3 在 RedHat Linux 6 上使用 qemu-kvm 分配一个光纤卡给虚机
除了步骤（4），其他步骤同上面。
1.4 设备直接分配让客户机的优势和不足
- 好处：在执行 I/O 操作时大量减少甚至避免 VM-Exit 陷入到 Hypervisor 中，极大地提高了性能，可以达到几乎和原生系统一样的性能。VT-d 克服了 virtio 兼容性不好和 CPU 使用频率较高的问题。
- 不足：（1）一台服务器主板上的空间比较有限，因此允许添加的 PCI 和 PCI-E 设备是有限的。大量使用 VT-d 独立分配设备给客户机，让硬件设备数量增加，这会增加硬件投资成本。（2）对于使用 VT-d 直接分配了设备的客户机，其动态迁移功能将受限，不过也可以使用热插拔或者libvirt 工具等方式来缓解这个问题。
- 不足的解决方案：（1）在一台物理宿主机上，仅少数 I/O 如网络性能要求较高的客户机使用 VT-d直接分配设备，其他的使用纯模拟或者 virtio 已达到多个客户机共享同一个设备的目的 （2）对于网络I/O的解决办法，可以选择 SR-IOV 是一个网卡产生多个独立的虚拟网卡，将每个虚拟网卡分配个一个客户机使用。
2. SR-IOV 设备分配
2.1 原理
- 物理功能（Physical Functions，PF）：这是完整的带有 SR-IOV 能力的PCIe 设备。PF 能像普通 PCI 设备那样被发现、管理和配置。
- 虚拟功能（Virtual Functions，VF）：简单的 PCIe 功能，它只能处理I/O。每个 VF 都是从 PF 中分离出来的。每个物理硬件都有一个 VF 数目的限制。一个 PF，能被虚拟成多个 VF 用于分配给多个虚拟机。
光纤卡 SR-IOV 的例子：
2.2 SR-IOV 的条件
- 需要 CPU 支持 Intel VT-x 和 VT-D （或者 AMD 的 SVM 和 IOMMU）
- 需要有支持 SR-IOV 规范的设备：目前这种设备较多，比如Intel的很多中高端网卡等。
- 需要 QEMU/KAM 的支持。
- Intel? 82576NS Gigabit Ethernet Controller ( igb 驱动)
- Intel? 82576EB Gigabit Ethernet Controller ( igb 驱动)
- Intel? 82599ES 10 Gigabit Ethernet Controller ( ixgbe 驱动)
- Intel? 82599EB 10 Gigabit Ethernet Controller ( ixgbe 驱动)
2.3 分配 SR-IOV 设备的步骤
手头没有支持SR-IOV的设备。这是 RedHat 上 SR-IOV 的配置步骤： Using SR-IOV。
简单来说，SR-IOV 分配步骤和设备直接分配相比基本类似，除了要使 PF 虚拟化成多个 VF 以外。
2.4 优势和不足
| 优势 | 不足 |
|
|
3. 各种设备虚拟化方式的比较
3.1 架构上的比较（以网卡为例）
3.2 性能上的比较 （以网卡为例）
纯模拟网卡和物理网卡的比较：
（来源：Evaluating and Optimizing I/O Virtualization in Kernel-based Virtual Machine (KVM), Binbin Zhang, Xiaolin Wang, Rongfeng Lai, Liang Yang, Zhenlin Wang,Yingwei Luo, Xiaoming Li）
（测试环境：两台物理服务器 HostA 和 HostB，都使用GB以太网。HostA 使用 82566DC 网卡，HostB 使用 82567LM-2 网卡，一台虚机运行在 HostB 上，使用 KVM-76.）
结论：
- 纯模拟网卡的性能只有物理网卡的四成到六成
- 纯模拟网卡的 UDP 性能比 TCP 性能高 50% 到 100%
- 在虚拟网卡上使用 NAPI，不但不会提高性能，反而会是性能下降
- e1000 的性能比 rt18139 的性能高不少（为什么 RedHat Linux KVM 上默认的网卡是 rt18139 呢？）
Virtio 和 vhost_net 的吞吐量比较：
- 来源：CANONICAL, KVM Performance Optimization, Paul Sim,Cloud Consultant, paul.sim@canonical.com
- 结论： vhost_net 比 virtio 的 UDP 和 TCP 性能高 20% 左右。
RedHat Linux 6 上 virtio，vhost_net，SR-IOV 和物理设备网络延迟的比较：
（来源：RedHat 官网）
RedHat Linux 6 上 virtio 和 vhost_net 所消耗的主机CPU资源的比较：
（来源同上）
使用 virtio 的 KVM 与物理机的 TCP 吞吐量对比：
（数据来源：RedHat 官网）
物理机与使用 SR-IOV 的 KVM 的网络性能对比：
（来源：同上）
物理机与使用 Pass-through 的KVM 的 TCP 性能对比：
（资料来源：Open Source Virtualization: KVM and Linux, Chris Wright, Principal Software Engineer, Red Hat,September 4, 2009）
3.3 Virtio 和 Pass-Through 的详细比较
（来源：Reconnaissance of Virtio: What’s new and how it’s all connected? by Mario Smarduch）
4. 综合结论
KVM 依赖的Intel/AMD 处理器的各种虚拟化扩展：
| 处理器 | CPU 虚拟化 | 内存虚拟化 | PCI Pass-through |
| Intel | VT-x | VPID，EPT | VT-d |
| AMD | AMD-V | ASID，NPT | IOMMU |
I/O 虚拟化方案的选择：
- I/O设备尽量使用准虚拟化（virtio 和 vhost_net）
- 如果需要实时迁移，不能使用 SR-IOV
- 对更高I/O要求又不需要实时迁移的，可以使用 SR-IOV
- 每种方案都有优势和不足，在特定环境下其性能有可能反而下降，因此在生产环境中使用各种虚拟化方式前需要经过完整测试
其它参考资料：
- RedHat Linux 6 官方文档
- KVM 官方文档
- KVM 虚拟化技术实战与解析 任永杰、单海涛 著
- KVM 虚拟化技术在 AMD 平台上的实现
KVM 介绍（5）：libvirt 介绍 [ Libvrit for KVM/QEMU ]
学习 KVM 的系列文章：
- （1）介绍和安装
- （2）CPU 和 内存虚拟化
- （3）I/O QEMU 全虚拟化和准虚拟化（Para-virtulizaiton）
- （4）I/O PCI/PCIe设备直接分配和 SR-IOV
- （5）libvirt 介绍
- （6）Nova 通过 libvirt 管理 QEMU/KVM 虚机
- （7）快照 （snapshot）
- （8）迁移 （migration）
1. Libvirt 是什么
为什么需要Libvirt？
- Hypervisor 比如 qemu-kvm 的命令行虚拟机管理工具参数众多，难于使用。
- Hypervisor 种类众多，没有统一的编程接口来管理它们，这对云环境来说非常重要。
- 没有统一的方式来方便地定义虚拟机相关的各种可管理对象。
Libvirt提供了什么？
- 它提供统一、稳定、开放的源代码的应用程序接口（API）、守护进程 （libvirtd）和和一个默认命令行管理工具（virsh）。
- 它提供了对虚拟化客户机和它的虚拟化设备、网络和存储的管理。
- 它提供了一套较为稳定的C语言应用程序接口。目前，在其他一些流行的编程语言中也提供了对libvirt的绑定，在Python、Perl、Java、Ruby、PHP、OCaml等高级编程语言中已经有libvirt的程序库可以直接使用。
- 它对多种不同的 Hypervisor 的支持是通过一种基于驱动程序的架构来实现的。libvirt 对不同的 Hypervisor 提供了不同的驱动，包括 Xen 的驱动，对QEMU/KVM 有 QEMU 驱动，VMware 驱动等。在 libvirt 源代码中，可以很容易找到 qemu_driver.c、xen_driver.c、xenapi_driver.c、vmware_driver.c、vbox_driver.c 这样的驱动程序源代码文件。
- 它作为中间适配层，让底层 Hypervisor 对上层用户空间的管理工具是可以做到完全透明的，因为 libvirt 屏蔽了底层各种 Hypervisor 的细节，为上层管理工具提供了一个统一的、较稳定的接口（API）。
- 它使用 XML 来定义各种虚拟机相关的受管理对象。
目前，libvirt 已经成为使用最为广泛的对各种虚拟机进行管理的工具和应用程序接口（API），而且一些常用的虚拟机管理工具（如virsh、virt-install、virt-manager等）和云计算框架平台（如OpenStack、OpenNebula、Eucalyptus等）都在底层使用libvirt的应用程序接口。
(SLE 11)
1.1 Libvirt C API
1.1.1 Libvirti API 所管理的主要对象
| 对象 | 解释 |
| Domain （域） | 指运行在由Hypervisor提供的虚拟机器上的一个操作系统实例（常常是指一个虚拟机）或者用来启动虚机的配置。 |
| Hypervisor | 一个虚拟化主机的软件层 |
| Node （主机） | 一台物理服务器。 |
| Storage pool （存储池） | 一组存储媒介的集合，比如物理硬盘驱动器。一个存储池被划分为小的容器称作卷。卷会被分给一个或者多个虚机。 |
| Volume （卷） | 一个从存储池分配的存储空间。一个卷会被分给一个或者多个域，常常成为域里的虚拟硬盘。 |
1.1.2 对象的管理模型
| 对象名称 | 对象 | Python 类 | 描述 |
| Connect | 与 Hypervisor的连接 |
virConnectPtr
| 在调用任何 API 去管理一个本地或者远端的Hypervisor前，必须建立和这个Hypervisor的连接。 |
| Domain | Guest domain |
virDomainPtr
| 用于列举和管理已有的虚机，或者创建新的虚机。唯一标识：ID,Name，UUID。一个域可能是暂时性的或者持久性的。暂时性的域只能在它运行期间被管理。持久性的域在主机上保存了它的配置。 |
| Virtual Network | 虚拟网络 |
virNetworkPtr
| 用于管理虚机的网络设备。唯一标识：Name，UUID。一个虚拟网络可能是暂时性的或者持久性的。每个主机上安装libvirt后，它都有一个默认的网络设备“default”。它向该主机上运行的虚机提供DHCP服务，以及通过NAT连接到主机上。 |
| Storage Pool | 存储池 |
virStoragePoolPtr
| 用于管理虚拟机内的所有存储，包括 local disk, logical volume group, iSCSI target, FibreChannel HBA and local/network file system。唯一标识：Name，UUID。一个存储池可能是暂时性的或者持久性的。Pool 的 type 可以是 dir, fs, netfs, disk, iscsi, logical, scsi,mpath, rbd, sheepdog, gluster 或者 zfs。 |
| Storage Volume | 存储卷 |
virStorageVolPtr
| 用于管理一个存储池内的存储块，包括一个池内分配的块、磁盘分区、逻辑卷、SCSI/iSCSI Lun，或者一个本地或者网络文件系统内的文件等。唯一标识：Name，Key，Path。 |
| Host device | 主机设备 |
virNodeDevPtr
| 用于管理主机上的物理硬件设备，包括 the physical USB or PCI devices and logical devices these provide, such as a NIC, disk, disk
controller, sound card, etc。唯一标识：Name。
|
1.1.3 API 的简单分类
Libvirt API 就是对各种对象的各种操作，包括基本的增、删、改、查操作和其它操作。
| 对象 | 增 | 删 | 改 | 查 | 其它 |
| Connect | virConnectOpen virConnectOpenAuth virConnectOpenReadOnly | virConnectClose | virConnectSetKeepAlive | ||
| Strorage pool | virStoragePoolBuild virStoragePoolCreate virStoragePoolCreateXML virStoragePoolDefineXML | virStoragePoolDelete virStoragePoolDestroy virStoragePoolFree virStoragePoolUndefine | virStoragePoolRefresh virStoragePoolSetAutostart | virConnectFindStoragePoolSources virConnectListAllStoragePools virConnectListDefinedStoragePools virConnectListStoragePools virConnectNumOfDefinedStoragePools virConnectNumOfStoragePools virStoragePoolGetInfo/Name/UUID/UUIDString/XMLDesc virStoragePoolIsActive/Persistent virStoragePoolLookupByName/UUID/UUIDString/Volume virStoragePoolRef | virStoragePoolGetAutostart virStoragePoolGetConnect virStoragePoolNumOfVolumes
virStoragePoolListAllVolumes
virStoragePoolListVolumes
|
| Storage volume | virStorageVolCreateXML virStorageVolCreateXMLFrom | virStorageVolDelete virStorageVolFree | virStorageVolResize virStorageVolUpload virStorageVolWipe virStorageVolWipePattern | virStorageVolGetConnect/Info/Key/Name/Path/XMLDesc virStorageVolLookupByKey/Name/Path virStorageVolRef | virStorageVolDownload |
| Network | virNetworkCreate virNetworkCreateXML virNetworkDefineXML | virNetworkDestroy virNetworkFree virNetworkUndefine | virNetworkSetAutostart virNetworkUpdate | virConnectListAllNetworks virConnectListDefinedNetworks virConnectListNetworks virConnectNumOfDefinedNetworks virConnectNumOfNetworks virNetworkGetBridgeName/DHCPLeases/Name/UUID/UUIDString/XMLDesc virNetworkIsActive/Persistent virNetworkLookupByName/UUID/UUIDString virNetworkGetAutostart
virNetworkGetConnect
| virConnectNetworkEventDeregisterAny virConnectNetworkEventGenericCallback virNetworkDHCPLeaseFree |
| Domain snapshot | virDomainSnapshotCreateXML | virDomainSnapshotDelete virDomainSnapshotFree | virDomainRevertToSnapshot | virDomainHasCurrentSnapshot virDomainListAllSnapshots virDomainSnapshotCurrent virDomainSnapshotGetConnect/Domain/Name/Parent/XMLDesc virDomainSnapshotHasMetadata virDomainSnapshotIsCurrent virDomainSnapshotListAllChildren virDomainSnapshotListChildrenNames virDomainSnapshotListNames virDomainSnapshotLookupByName virDomainSnapshotNum virDomainSnapshotNumChildren virDomainSnapshotRef | |
| Host | | virInitialize virNodeSetMemoryParameters virNodeSuspendForDuration | virConnectBaselineCPU virConnectCompareCPU virConnectGetCPUModelNames/Capabilities/Hostname/LibVersion/MaxVcpus/Sysinfo/Type/URI/Version virConnectIsAlive virConnectIsEncrypted virConnectIsSecure virGetVersion virNodeGetCPUMap/CPUStats /CellsFreeMemory/FreeMemory/Info/MemoryParameters/MemoryStats / virNodeGetSecurityModel | virTypedParamsAddBoolean virTypedParamsAddDouble virTypedParamsAddFromString virTypedParamsAddInt virTypedParamsAddLLong virTypedParamsAddString virTypedParamsAddUInt virTypedParamsAddULLong virTypedParamsClear virTypedParamsFree virTypedParamsGet | |
| Interface | virInterfaceCreate virInterfaceDefineXML | virInterfaceDestroy virInterfaceFree virInterfaceUndefine | virInterfaceChangeBegin virInterfaceChangeCommit virInterfaceChangeRollback | virConnectListAllInterfaces virConnectListDefinedInterfaces virConnectListInterfaces virConnectNumOfDefinedInterfaces virConnectNumOfInterfaces virInterfaceGetConnect virInterfaceGetMACString virInterfaceGetName virInterfaceGetXMLDesc virInterfaceIsActive virInterfaceLookupByMACString virInterfaceLookupByName virInterfaceRef | |
| Net Filter | virNWFilterDefineXML | virNWFilterFree virNWFilterUndefine | virConnectListAllNWFilters virConnectListNWFilters virConnectNumOfNWFilters virNWFilterGetName virNWFilterGetUUID virNWFilterGetUUIDString virNWFilterGetXMLDesc virNWFilterLookupByName virNWFilterLookupByUUID virNWFilterLookupByUUIDString virNWFilterRef | ||
| Domain Event | virConnectDomainEventDeregister virConnectDomainEventDeregisterAny virConnectDomainEventDeviceAddedCallback virConnectDomainEventDeviceRemovedCallback | virConnectDomainEventAgentLifecycleCallback virConnectDomainEventBalloonChangeCallback virConnectDomainEventBlockJobCallback virConnectDomainEventCallback virConnectDomainEventDiskChangeCallback virConnectDomainEventGenericCallback virConnectDomainEventGraphicsCallback virConnectDomainEventIOErrorCallback virConnectDomainEventIOErrorReasonCallback virConnectDomainEventPMSuspendCallback virConnectDomainEventPMSuspendDiskCallback | |||
| Domain | virDomainCreate virDomainCreateLinux virDomainCreateWithFiles virDomainCreateWithFlags virDomainCreateXML virDomainCreateXMLWithFiles virDomainDefineXML virDomainDefineXMLFlags | virDomainDestroy virDomainDestroyFlags virDomainFree virDomainUndefine virDomainUndefineFlags virDomainUpdateDeviceFlags | virDomainAbortJob virDomainAddIOThread
virDomainDelIOThread
virDomainAttachDevicevirDomainAttachDeviceFlags virDomainDetachDevice virDomainDetachDeviceFlags virDomainBlockCommit virDomainBlockCopy virDomainBlockJobAbort virDomainBlockJobSetSpeed virDomainBlockPeek virDomainBlockPull virDomainBlockRebase virDomainBlockResize virDomainCoreDump virDomainCoreDumpWithFormat virDomainFSFreeze virDomainFSInfoFree virDomainFSThaw virDomainFSTrim virDomainInjectNMI virDomainInterfaceFree virDomainManagedSave virDomainManagedSaveRemove virDomainMigrate virDomainMigrate2 virDomainMigrate3 virDomainMigrateSetCompressionCache virDomainMigrateSetMaxDowntime virDomainMigrateSetMaxSpeed virDomainMigrateToURI virDomainMigrateToURI2 virDomainMigrateToURI3 virDomainOpenChannel virDomainOpenConsole virDomainOpenGraphics virDomainOpenGraphicsFD virDomainPMSuspendForDuration virDomainPMWakeup virDomainReboot virDomainReset virDomainRestore virDomainRestoreFlags virDomainResume virDomainSave virDomainSaveFlags virDomainSaveImageDefineXML virDomainScreenshot virDomainSendKey virDomainSendProcessSignal
virDomainShutdown
virDomainSetAutostartvirDomainShutdownFlags virDomainSuspend virDomainSetBlkioParameters virDomainSetBlockIoTune virDomainSetInterfaceParameters virDomainSetMaxMemory virDomainSetMemory virDomainSetMemoryFlags virDomainSetMemoryParameters virDomainSetMemoryStatsPeriod virDomainSetMetadata virDomainSetNumaParameters virDomainSetSchedulerParameters virDomainSetSchedulerParametersFlags virDomainSetTime virDomainSetUserPassword virDomainSetVcpus virDomainSetVcpusFlags | virConnectGetAllDomainStats virConnectGetDomainCapabilities virConnectListAllDomains virConnectListDefinedDomains virConnectListDomains virConnectNumOfDefinedDomains virConnectNumOfDomains virDomainBlockStats virDomainBlockStatsFlags virDomainGetAutostart virDomainGetBlkioParameters virDomainGetBlockInfo virDomainGetBlockIoTune virDomainGetBlockJobInfo virDomainGetCPUStats virDomainGetConnect virDomainGetControlInfo virDomainGetDiskErrors virDomainGetEmulatorPinInfo virDomainGetFSInfo virDomainGetHostname virDomainGetID virDomainGetIOThreadInfo virDomainGetInfo virDomainGetInterfaceParameters virDomainGetJobInfo virDomainGetJobStats virDomainGetMaxMemory virDomainGetMaxVcpus virDomainGetMemoryParameters virDomainGetMetadata virDomainGetName virDomainGetNumaParameters virDomainGetOSType virDomainGetSchedulerParameters virDomainGetSchedulerParametersFlags virDomainGetSchedulerType virDomainGetSecurityLabel virDomainGetSecurityLabelList virDomainGetState virDomainGetTime virDomainGetUUID virDomainGetUUIDString virDomainGetVcpuPinInfo virDomainGetVcpus virDomainGetVcpusFlags virDomainGetXMLDesc virDomainHasManagedSaveImage virDomainIOThreadInfoFree virDomainInterfaceAddresses virDomainInterfaceStats virDomainIsActive virDomainIsPersistent virDomainIsUpdated virDomainListGetStats virDomainLookupByID virDomainLookupByName virDomainLookupByUUID virDomainLookupByUUIDString virDomainMemoryPeek virDomainMemoryStats virDomainMigrateGetCompressionCache virDomainMigrateGetMaxSpeed virDomainPinEmulator ? virDomainPinIOThread virDomainPinVcpu virDomainPinVcpuFlags virDomainSaveImageGetXMLDesc virDomainStatsRecordListFree | virConnectDomainXMLFromNative virConnectDomainXMLToNative |
| Secret | virSecretDefineXML | virSecretFree virSecretUndefine | virSecretSetValue | virConnectListAllSecrets virConnectListSecrets virConnectNumOfSecrets virSecretGetConnect/UUID/UUIDString/UsageID/UsageType/Value/XMLDesc virSecretLookupByUUID/UUIDString/Usage virSecretRef | |
| Stream | virStreamNew | virStreamFree | virStreamFinish
virStreamAbort
virStreamRecv
virStreamRecvAll
virStreamSend
virStreamSendAll
| virStreamSinkFunc virStreamSourceFunc |
1.2 Libvirt XML 定义
Libvirt 使用 XML 来定义各种对象，其中，与 OpenStack Nova 关系比较密切的有：
| disk （磁盘） | 任何磁盘设备，包括软盘（floppy）、硬盘（hard disk）、光驱（cdrom）或者半虚拟化驱动都使用 元素来定义。 方式： 。其中：
（1）”volume“ 类型的 disk 'volume' device='disk'>
'qemu' type='raw'/>
'blk-pool0' volume='blk-pool0-vol0'/>
'hdk' bus='ide'/>
'file' snapshot='external'>
"tap" type="aio" cache="default"/>
'/var/lib/xen/images/fv0' startupPolicy='optional' />
'hda' bus='ide'/>
'block' device='cdrom'>
'qemu' type='raw'/>
'hdd' bus='ide' tray='open'/>
<readonly/>
'network' device='cdrom'>
'qemu' type='raw'/>
"http" name="url_path">
"hostname" port="80"/>
|
'subsystem' type='usb'> #USB 设备直接分配 'optional'>
'0x1234'/>
'0xbeef'/>
'<span style="color:#800000; line-height:1.5!important">2</span><span style="color:#800000; line-height:1.5!important">'</span>/>
'<span style="color:#800000; line-height:1.5!important">subsystem</span><span style="color:#800000; line-height:1.5!important">'</span> type=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">pci</span><span style="color:#800000; line-height:1.5!important">'</span> managed=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">yes</span><span style="color:#800000; line-height:1.5!important">'</span>> <span style="color:#0000FF; line-height:1.5!important">#PCI 设备直接分配</span>
'<span style="color:#800000; line-height:1.5!important">0x0000</span><span style="color:#800000; line-height:1.5!important">'</span> bus=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x06</span><span style="color:#800000; line-height:1.5!important">'</span> slot=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x02</span><span style="color:#800000; line-height:1.5!important">'</span> function=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x0</span><span style="color:#800000; line-height:1.5!important">'</span>/>
'<span style="color:#800000; line-height:1.5!important">1</span><span style="color:#800000; line-height:1.5!important">'</span>/>
'<span style="color:#800000; line-height:1.5!important">on</span><span style="color:#800000; line-height:1.5!important">'</span> file=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">/etc/fake/boot.bin</span><span style="color:#800000; line-height:1.5!important">'</span>/>
有几种 interface 类型：
（1）type = ‘network’ 定义一个连接 Virtual network 的 interface
<interface type='network'>
'default'/> #虚拟网络的名称为 ‘default’ interface> ... <interface type='network'>
'default' portgroup='engineering'/>
'vnet7'/>
"00:11:22:33:44:55"/>
'<span style="color:#800000; line-height:1.5!important">09b11c53-8b5c-4eeb-8f00-d84eaa0aaa4f</span><span style="color:#800000; line-height:1.5!important">'</span>/>
interface>
#virsh：attach-interface --domain d-2 --type network --source isolatednet1 --mac 52:53:00:4b:75:6f --config
（2）type=‘birdge’ 定义一个 Bridge to LAN（桥接到物理网络）的interface：前提是主机上存在一个 bridge，该 bridge 已经连到物理LAN。
<interface type='bridge'> #连接到 br0 'br0'/>
interface>
<interface type='bridge'> #连接到br1 'br1'/>
'vnet7'/>
"00:11:22:33:44:55"/>
interface>
<interface type='bridge'> #连接到 Open vSwithc bridge ovsbr 'ovsbr'/>
'openvswitch'>
'menial' interfaceid='09b11c53-8b5c-4eeb-8f00-d84eaa0aaa4f'/>
interface></pre>
#virsh：attach-interface --domain d-2 --type bridge --source virbr0 --mac 52:22:33:44:55:66 --config
（3）type=‘ethernet’ 定义一个使用指定脚本连接到 LAN 的 interface
<interface type='ethernet'>
'vnet7'/>
'/etc/qemu-ifup-mynet'/>
interface>
（4）type=‘direct’ 定义一个直接连到物理网卡（Direct attachment to physical interface）的 interface：需要 Linux macvtap 驱动支持
<interface type='direct' trustGuestRxFilters='no'>
'eth0' mode='vepa'/>
interface>
（5）type=‘hostdev’ 定义一个由主机PCI 网卡直接分配（PCI Passthrough）的 interface： 分配主机上的网卡给虚机
<interface type='hostdev' managed='yes'>
'vfio'/>
<address type="<span" style="color:#800000; line-height:1.5!important">'<span style="color:#800000; line-height:1.5!important">pci</span><span style="color:#800000; line-height:1.5!important">'</span> domain=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x0000</span><span style="color:#800000; line-height:1.5!important">'</span> bus=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x00</span><span style="color:#800000; line-height:1.5!important">'</span> slot=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x07</span><span style="color:#800000; line-height:1.5!important">'</span> function=<span style="color:#800000; line-height:1.5!important">'</span><span style="color:#800000; line-height:1.5!important">0x0</span><span style="color:#800000; line-height:1.5!important">'</span>/>
'<span style="color:#800000; line-height:1.5!important">52:54:00:6d:90:02</span><span style="color:#800000; line-height:1.5!important">'</span>/>
'<span style="color:#800000; line-height:1.5!important">802.1Qbh</span><span style="color:#800000; line-height:1.5!important">'</span>>
'<span style="color:#800000; line-height:1.5!important">finance</span><span style="color:#800000; line-height:1.5!important">'</span>/>
interface>
1. bridge：定义一个用于构造该虚拟网络的网桥。
2. domain：定义 DHCP server 的 DNS domain。
3. forward： 定义虚拟网络直接连到物理 LAN 的方式. ”mode“指转发模式。
(1) mode=‘nat’：所有连接到该虚拟网络的虚拟的网络都会经过物理机器的网卡，并转换成物理网卡的地址。
default
"virbr0" />
"nat"/>
"192.168.122.1" netmask="255.255.255.0">
"<span style="color:#800000; line-height:1.5!important">192.168.122.2</span><span style="color:#800000; line-height:1.5!important">"</span> end=<span style="color:#800000; line-height:1.5!important">"</span><span style="color:#800000; line-height:1.5!important">192.168.122.254</span><span style="color:#800000; line-height:1.5!important">"</span> />
"<span style="color:#800000; line-height:1.5!important">ipv6</span><span style="color:#800000; line-height:1.5!important">"</span> address=<span style="color:#800000; line-height:1.5!important">"</span><span style="color:#800000; line-height:1.5!important">2001:db8:ca2:2::1</span><span style="color:#800000; line-height:1.5!important">"</span> prefix=<span style="color:#800000; line-height:1.5!important">"</span><span style="color:#800000; line-height:1.5!important">64</span><span style="color:#800000; line-height:1.5!important">"</span> />
</pre>
也可以指定公共的IP地址和端口号。
'nat'>'1.2.3.4' end='1.2.3.10'/> 'nat'>'500' end='1000'/>
local
"virbr1" />
"route" dev="eth1"/>
"192.168.122.1" netmask="255.255.255.0">
"<span style="color:#800000; line-height:1.5!important">192.168.122.2</span><span style="color:#800000; line-height:1.5!important">"</span> end=<span style="color:#800000; line-height:1.5!important">"</span><span style="color:#800000; line-height:1.5!important">192.168.122.254</span><span style="color:#800000; line-height:1.5!important">"</span> />
"<span style="color:#800000; line-height:1.5!important">ipv6</span><span style="color:#800000; line-height:1.5!important">"</span> address=<span style="color:#800000; line-height:1.5!important">"</span><span style="color:#800000; line-height:1.5!important">2001:db8:ca2:2::1</span><span style="color:#800000; line-height:1.5!important">"</span> prefix=<span style="color:#800000; line-height:1.5!important">"</span><span style="color:#800000; line-height:1.5!important">64</span><span style="color:#800000; line-height:1.5!important">"</span> />
</pre>
host-bridge
"bridge"/>
"br0"/>
'passthrough'>
<interface dev='eth10'/>
<interface dev='eth11'/>
<interface dev='eth12'/>
<interface dev='eth13'/>
<interface dev='eth14'/>
'hostdev' managed='yes'>
'vfio'/>
'pci' domain='0' bus='4' slot='0' function='1'/>
'pci' domain='0' bus='4' slot='0' function='2'/>
'pci' domain='0' bus='4' slot='0' function='3'/>
详细的 XML 定义说明在 https://libvirt.org/format.html。
1.3 Libvirt API 的实现
libvirt API 的实现是在各个 Hypervisor driver 和 Storage dirver 内。Hypervisor 驱动包括：
- LXC - Linux Containers
- OpenVZ
- QEMU
- Test - Used for testing
- UML - User Mode Linux
- VirtualBox
- VMware ESX
- VMware Workstation/Player
- Xen
- Microsoft Hyper-V
- IBM PowerVM (phyp)
- Parallels
- Bhyve - The BSD Hypervisor
1.4 Libvirt 的 Python 绑定
#C API int virConnectNumOfDomains (virConnectPtr conn); int virDomainSetMaxMemory (virDomainPtr domain, unsigned long memory);
#Python API virConnect::numOfDomains(self) virDomain::setMaxMemory(self, memory)
因此，libvirt 官网并没有提供详细的 python API 描述。
2. QEMU/KVM libvirt 驱动
2.1 架构
| virsh command | Public API | QEMU driver function | Monitor command |
|---|---|---|---|
| virsh create XMLFILE | virDomainCreateXML() | qemudDomainCreate() | info cpus, cont, change vnc password, balloon (all indirectly) |
| virsh suspend GUEST | virDomainSuspend() | qemudDomainSuspend() | stop |
| virsh resume GUEST | virDomainResume() | qemudDomainResume() | cont |
| virsh shutdown GUEST | virDomainShutdown() | qemudDomainShutdown() | system_powerdown |
| virsh setmem GUEST MEM-KB | virDomainSetMemory() | qemudDomainSetMemory() | balloon (indirectly) |
| virsh dominfo GUEST | virDomainGetInfo() | qemudDomainGetInfo() | info balloon (indirectly) |
| virsh save GUEST FILENAME | virDomainSave() |
1200
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
