什么是KVM？

KVM是开源软件，全称是Kernel-Based Virtual Machine（基于内核级虚拟机）技术； 
是一种用于Linux内核中的虚拟化基础设施，可以将Linux内核转化为一个hypervisor；
KVM在07年2月被导入Linux 2.6.20核心中，以可加载核心模块的方式被移植到FreeBSD及illumos上； 
KVM在具备Intel VT或AMD-V功能的x86平台上运行。它也被移植到S/390，PowerPC与IA-64平台上。在Linux内核3.9版中，加入ARM架构的支持； 
KVM目前由Red Hat等厂商开发，对CentOS/Fedora/RHEL等Red Hat系发行版支持极佳； （摘自wikipedia）

什么又是”虚拟化”？

在计算机技术中，虚拟化（技术）或虚拟技术（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源（CPU、内存、磁盘空间、网络适配器等），予以抽象、转换后呈现出来并可供分区、组合为一个或多个电脑配置环境。由此打破实体结构间的不可切割的障碍，使用户可以比原本的配置更好的方式来应用这些电脑硬件资源（其实就是虚拟整个PC硬件）。这些资源的新虚拟部分是不受现有资源的架设方式，地域或物理配置所限制。一般所指的虚拟化资源包括计算能力和数据存储。（摘自wikipedia）

“Hypervisor”和主机虚拟化

Hypervisor： 
Hypervisor又称虚拟机器监视器（英语：virtual machine monitor，缩写为 VMM）是用来建立与执行虚拟机器的部分电脑软件，固件或是硬件。被Hypervisor用来执行一个或多个虚拟机器的电脑被称为主体机器（host machine），这些虚拟机器，则称为客体机器（guest machine）。hypervisor可以用一个客体操作系统（guest operating systems）的外貌出现，提供虚拟的作业平台，负责管理其他客体操作系统的运作。在它之上运作的多个操作系统，共同分享了虚拟化之后的硬件资源。（摘自wikipedia） 
可以简单理解Hypervisor为超级管理员：这种超级管理分别运行在不同虚拟机上其功能是不一样的； 
Hypervisor功能是创建，管理，加载，分配，虚拟出物理机器的有效硬件资源给虚拟客户机使用； 
主机虚拟化： 
常用的两类虚拟化技术 
1型虚拟化：在硬件上跑的不是宿主机（直接跑的是虚拟化软件，需驱动底层硬件）所创建每个主机都是虚拟机； 
特点： 
    需要硬件支持 
    虚拟机监视器作为主操作系统 
    运行效率高 
2型虚拟化：在硬件安装操作系统（操作系统安装虚拟软件vmware，virtualbox）； 
特点： 
    虚拟机监视器作为应用程序运行在主操作系统环境内 
    运行效率一般较类型I低

完全虚拟化与半虚拟化

完全虚拟化：用软件辅助并运行在物理机上，由软件发起指令，内核捕获；

半虚拟化：Guest_OS明确知道自己运行在虚拟机上，向物理机发起特权指令调用；

CPU虚拟化一般分两种：（模拟，虚拟）

模拟与虚拟在于，虚拟（性能）比模拟（需靠软件转换）好；

CPU虚拟化

CPU虚拟化需要本身对硬件所支持，需修改内核； 
x86 操作系统是直接运行于裸硬件设备，因此它自认为完全占有计算机硬件，而处理及访问应用程序和硬件设备是x86处理器底层四个特权级别来实现（环0,1,2,3）； 
环0：运行特权指令，只有操作系统才能有权限（内核）； 
环1-2：由于历史原因未使用； 
环3：放的是一些非特权指令，可进程使用（一但调用就会触发CPU异常，CPU软中断指令）； 
现有基于x86处理器的操作系统，多数UNIX、Linux以及Windows系列大都只用了环0和环3两个特权级别；

没有对比就没有差异—>（Xen、KVM）

Xen：
hypervisor(超级管理员)，直接运行在硬件上，只驱动CPU内存，各种IO不驱动；
装完后赶紧提供一个虚拟机（与xen一体），改内核重启立即创建虚拟机把原宿主机改成了虚拟机，以后就不启动宿主机直接启动Xen；
虚拟机命名：dom（原宿主机叫dom0管理其它虚拟机，I/O由它来驱动）；
kvm：
悄悄并腐蚀了寄生在内核宿主机之上的hypervisor，kvm是模块如果要使用直接装载就可以；
如果装载了kvm模块内核立即变为僵尸并变成了hypervisor，用户空间变为了其中一台虚拟机的管理控制台,完全寄生不驱动任何驱动管理程序；
可虚拟CPU，内存，不能虚拟出来I/O设备，模拟I/O 需借助外部组件qemu；
qemu：存软件实现的模拟器，性能不好。可虚拟CPU，内存，I/O，大小1M左右；
qemu的加速器：qemu-accelerator（从模拟器变成虚拟机，需与架构一致）；
组织方式：
	qemu去模拟I/O，需安装在控制台处dom0；
	kvm去虚拟化CPU，内存；

KVM的安装和有关知识

安装前提： 
1、实现环境：CentOS7.2_x86_64 
2、KVM依赖于HVM机制（interl是VT-X，AMD是amd-v）； 
3、查看系统是否支持虚拟化，确保内核编译提供了kvm模块； 
~]# egrep 'vmx|svm' /proc/cpuinfo 
4、KVM主要运行在x86机器上（核心模块：kvm） 
5、验证检测kvm模块被正确装载 
~]# modprobe kvm 
~]# lsmod |grep kvm 
~]# ls -l /dev | grep kvm 

kvm模块载入后系统的运行模式： 
内核模式：形象描述为,GuestOS执行I/O类操作或其它特殊指令操作，称为‘来宾-内核-模式’； 
用户模式：形象描述为,代表GuestOS请求I/O类操作； 
来宾模式：形象描述为，GuestOS的非I/O模式，即‘来宾-用户-模式’； 
        内核形象描述为，kvm hypervisor 

kvm的组件： 
/dev/kvm： 
工作于hypervisor在用户空间可通过loctl()系统调用来完成vm的管理工作，且是一个字符设备； 
功能：创建vm，为vm分配内存，读写vcpu的寄存器向vcpu注入中断运行vcpu等； 
qemu进程：工作于用户空间，主要用于实现模拟vm的I/O设备； 

kvm的特性：

内存管理、存储、等……

内存管理：
	将分配给vm的内存交换至swap；
	支持使用huge page；
	支持使用intel_EPT或amd_RVI技术完成内在地址映射；
	GVA-->GPA-->HPA,GVA--HPA
	支持KSM(kernel same-page merging)
硬件支持：
	取决于Linux内核
存储支持：
	本地存储
	网络附加存储
	存储区域网络
	分布式存储(GlusterFS)
支持实时迁移：
	live migration(需使用共享存储)
支持的GuestOS：
	Linux，Windows，OpenBSD，FreeBSD，OpenSolaris
设备驱动：
	IO设备的完全虚拟化，实现模拟硬件
	IO设备的半虚拟化，实现virtio
virtio-blk，net,pci,console,balion(气球膨胀扩展内存)

kvm的管理工具： 
qemu： 
    quem-kvm 
    qemu-img 
libvirt： 
kvm hypervsior：libvirtd 
管理接口： 
    GUI：virt-manager，virt-viewer 
    CLI：virt-install，virsh 

安装管理工具： 
~]# yum install -y libvirt （大量依赖程序包，安装前配置好yum环境） 
~]# systemctl start libvirtd.service （启动libvirt守护进程） 
~]# ifconfig （查看虚拟的virbr0-桥设备，提供nat类型网络） 
wKiom1iywvmS7Sj1AABNEyrybJM318.jpg
安装启动虚拟机： 
~]# yum install virt-manager virt-viewer virt-install 
virt工具包的安装 
~]# yum install qemu-kvm 
图形测试连接 
~]# virt-manager
如果系统是最小化安装的，记得安装此包（xorg-x11-xauth） ，不然在使用ssh连接主机时图形无法支持；

wKiom1iywOWSvOzlAAA-k5TW3hQ848.jpg           图形化安装 

查看守护进程文件类型： 
~]# rpm -ql libvirtd-daemon 
配置文件 
/etc/libvirt/libvirtd.conf 
Unite file 
/usr/lib/systemd/system/libvirtd.service 
相关术语： 
    node：物理服务器 
    hypervisor：支持虚拟机运行的环境 
    domain：虚拟机 
    dom0：prilileged，特权域 
    domU：非特权域 
hypervisor的访问路径：

本地及远程URL

本地URL：
driver[+transport]:///[PATH][?extra-param]
	driver:驱动名称，例如qemu，xen，lxc；
	transport：传输方式
	kvm使用qemu驱动，格式qemu:///system
远程URL：
driver[+transport]:///[user@][host][:port]/[PATH][?extra-param]
示例：
	qemu:///172.16.5.40/system
	qemu+ssh://root@172.16.5.40/system

创建网桥： 
与物理网络连接直接通信，需创建网桥把物理网卡当’桥’来使用 
手动配置方法 
~]# cd /etc/sysconfig/network-scripts/ 
~]# vim ifcfg-eno16777736 (当’桥’用) 
    删除IP地址 
    增加BRIDGE=’br0’ 
~]# cp ifcfg-eno16777736 if-br0 
~]# vim if-br0 
    DEVICE=br0 
    TYPE=Bridge 
name去掉，重启就ok 
使用virsh命令配置方法 
注意：如果使用桥接接口，不能启用NetworkManager服务 
~]# virsh help iface-bridge 
~]# virsh iface-list 
~]# virsh iface-bridge eno16777736 br0 –no-stp 
创建虚拟机： 
此安装方法略过…特别容易，记得选择桥接接口就可以，安装方式pxe等；

wKioL1iywojCkLI-AABsx7h747U057.jpg

virsh的常用命令

virsh help：获取帮助

virsh keyword
	list：列出域
示例：
	~]# virsh vcpuinfo rhel6.6 （列出虚拟CPU信息）
	~]# virsh dumpxml rhel6.6 >/tmp/mytemplate.xml
	(基于已有虚拟机导出配置文件实现批量虚拟机实例)
	crate：创建并启动域；
	define：创建域；
	domid：获取域ID；
	domuuid：获取域的uuid；
	dominfo：域信息；
	reboot：重启域；
	destory：关闭域；
	shutdown：关闭域；
	undfine：删除域；
	save：保存状态至文件中；
	restore：从保存文件中恢复域状态；
	pause：暂停域；
	resume：恢复暂停的域；

管理’域’资源的命令：

virsh help setmem： 
setmem：更改域的内存大小（不可超出最大值） 
    ~]# virsh setmem rhel6.6 768m –current 
setmaxmem：设定内存最大值； 
setvcpus：修改CPU数量； 
    ~]# virsh setvcpus rhel6.6 1 –current 
    ~]# virsh help vcpupin 可以绑定在哪些CPU上 
vcpuinfo：获取域的vcpu信息； 
    ~]# virsh vcpuinfo rhel6.6 
domblkstart：显示域块设备相关信息； 
    ~]# virsh domblkstart rhel6.6 
domiflist：显示域的接口列表 
    ~]# virsh domiflist rhel6.6 
    ~]# virsh domifstat rhel6.6 vnet0 
ifacelist：获取物理设备网络信息 
    ~]# virsh iface-list 

动态增删disk： 
    qemu-img create 
    virsh attach-disk 
    virsh detach-disk 
动态增删interface 
    virsh attach-interface 
    type:bridge 
    source:某桥的名称 
    virsh detach-interface –mac MAC

附加磁盘设备，必须常见磁盘设备 
包管理工具：yum install -y qemu-img 
示例：qem-img create -f qcow2 -o ? /tmp/test.qcow2 
    ~]# qem-img create -f qcow2 -o preallocation=metadata /tmp/test.qcow2 250G 支持稀疏格式 
    ~]# ls lh /tmp/test.qcow2（显示原始大小） 
    ~]# qem-img resize /tmp/test.qcow2 调整空间大小 
把映像文件附加到虚拟机上 
    ~]# virsh help attach-disk 帮助 
    ~]# virsh attach-disk rhel6.6 /tmp/test.img vdb 附加 
    ~]# virsh domblklist rhel6.6 查看附加的 
    ~]# fdisk -l 查看磁盘 
拆出磁盘 
    ~]# virsh help detach-disk 
    ~]# virsh detach-disk rhel6.6 vdb 
附加网络接口，必须创建网络接口 
ip link add无用功，不需要手动添加会帮我们自动添加 
    ~]# ip link help 
    ~]# ip link add name veth1.0 type veth peer veth1.1 创建一对网卡，一半1.0一半1.1 
    ~]# ip link show 
向虚拟机动态添加网卡 
    ~]# brctl show （桥控制命令） 
    ~]# ip link add veth1.0 type veth peer name veth1.1 
    ~]# ip link show 
向桥添加接口 
    ~]# brctl addif virbr0 veth1.0 
    ~]# brctl show 
把另一个接口添加到虚拟机上 
    ~]# virsh help attach-interface 
    ~]# virsh dumpxml rhel6.6 
    ~]# virsh attach-interface rhel6.6 bridge virbr0 
    ~]# virsh domiflist rhel6.6 
    ~]# ifconfig -a 
拆出网络接口 
    ~]# virsh help detach-interface 
    ~]# virsh detach-interface rhel6.6 bridge –mac 52:54:00:4e:ca:4e 
    ~]# virsh domiflist rhel6.6 
    ~]# brctl show

使用qemu-kvm手动创建虚拟机

注意：qemu跟virsh没有关系，不是virsh家族的，所以用virsh看不到运行中的虚拟机； 

包管理工具 

~]# yum install -y qemu-kvm
~]# rpm -ql qemu-kvm
~]# ln -sv /usr/libexec/qemu-kvm /usr/bin
~]# qemu-kvm -h 帮助
~]# qemu-kvm -machine help 指定要模拟的主机类型
~]# qemu-kvm -cpu ? 支持的CPU类型

创建虚拟机

~]# mkdir /vms/p_w_picpaths/test -pv
~]# cp cirros-0.3.0-x86_64-disk.img /vms/p_w_picpaths/test/test-0.qcow2 
~]# qemu-kvm -name test -m 64 -smp 2 -drive file=/vms/p_w_picpaths/test/test-0.qcow2,media=disk,if=virtio,format=qcow2,-net none,-nographic
~]# sudo su - 切换管理员账号
~]# help 获取命令帮助
~]# Ctrl+a+c 切换监控界面

启用vnc功能在本机连接并支持图形窗口界面接口

~]# qemu-kvm -name test -m 64 -smp 2 -drive file=/vms/p_w_picpaths/test/test-0.qcow2,media=disk,if=virtio,format=qcow2,-net none,-vnc:1
~]# yum install -y tigervnc
~]# vncviewer:1

使用添加-net支持网络功能以便加入到某个桥上，并快速激活此接口

    激活接口可使用脚本,仅适用于物理桥;

~]# vim /etc/qemu-ifup
bridge=br0
if [-n "$1"];then
    ip link set $1 up
    sleep 1
brctl addif $bridge $1
    else
    echo "error.no interface specified."
    exit 1
fi
在粘贴到vi编辑器内把删除以行首开头的空白行
全文搜索删除行首空白行：(:%s/*[[:space:]]*//g)

~]# brctl show

~]# vim /etc/qemu-ifdown
bridge=br0
if [-n "$1"];then
    ip link set $1 down
    sleep 1
brctl addif $bridge $1
    else
    echo "error.no interface specified."
    exit 0
fi

启动虚拟机测试

~]# qemu-kvm -name test -m 64 -smp 2 -drive file=/vms/p_w_picpaths/test/test-0.qcow2,media=disk,if=virtio,format=qcow2,-net nic,model=virtio,macaddr=52:54:00:00:01,-net tap,ifname=veth1 -vnc:1
~]# vncviewer :1
~]# sudo su -
~]# ifconfig -a

创建两个网桥接口，让两台虚拟机相互通信（仅主机通信）

包工具：

~]# yum install bridge-utils

~]# which brctl

~]# rpm -qf /usr/sbin/brctl

~]# brctl 获取帮助

~]# brctl addbr mybr0 添加桥后非活动

~]# ip link set mybr0 up

启动两台虚拟机,并桥接到mybr0网卡上

~]# cp /etc/qemu-ifup-mybr0
    bridge=mybr0 
~]# cp /etc/qemu-ifdown-mybr0
    bridge=mybr0 
~]# qemu-kvm -name test -m 64 -smp 2 -drive file=/vms/p_w_picpaths/test/test-0.qcow2,media=disk,if=virtio,format=qcow2,-net nic,model=virtio,macaddr=52:54:00:00:01,-net tap,ifname=veth1,script=/etc/qemu-ifup-mybr0,downscript=/etc/qemu-ifup-mybr0,-vnc:1 -daemonize
~]# mkdir /vms/p_w_picpaths/test1/
~]# cp ./cirros-0.3.0-x86_64-disk.img /vms/p_w_picpaths/test1/test-1.qcow2
~]# qemu-kvm -name test -m 64 -smp 2 -drive file=/vms/p_w_picpaths/test1/test-1.qcow2,media=disk,if=virtio,format=qcow2,-net nic,model=virtio,macaddr=52:54:00:00:02,-net tap,ifname=veth2,script=/etc/qemu-ifup-mybr0,downscript=/etc/qemu-ifup-mybr0,-vnc:1 -daemonize
~]# brctl show （确保两个都被桥到物理桥上）

启动两台虚拟机并配置网卡地址

~]# vncviewer :1

~]# ifconfig eth0 10.1.0.50/16 up

~]# vncviewer :2

~]# ifconfig eth0 10.1.0.60/16 up

~]# ping两台机器

启动两台虚拟机并配置网卡地址后与物理机通信

~]# ifconfig mybr0 10.1.0.254/16 up

~]# 去ping各虚拟机和物理机

让两台虚拟机实现（nat通信）

~]# route add default gw 10.1.0.254 在vnc1上添加路由

~]# cat /proc/sys/net/ipv4/ip_forward 在物理机上开网卡间转发功能

~]# tcpdump -i eno16777736 -nn -icmp 抓包看下

~]# 这时物理机能ping出去，但是从vncping的包进不来

~]# 此时在物理机器上加入源地址转发策略

~]# iptables -t nat -A POSTROUTING -s 10.0.0.0/16 -j SNAT --to-source 172.16.5.40

~]# 再次在物理机上发出ping请求，这时包就可以到达物理机上了

让两台虚拟机实现与外部网卡地址通信

在物理机上br0上加入子接口

~]# ifconfig br0:0 172.16.5.70/16

~]# iptables -t nat -vnL --line-numbers

~]# iptables -t nat -A POSTROUTING -s 10.0.0.0/16 -j SNAT --to-source 172.16.5.70

~]# iptables -t nat -A PREROUTING -d 172.16.5.70 -j DNAT --to-destination 10.1.0.50

~]# ping 172.16.5.70 在vnc1上发出ping请求

~]# tcpdump -i mybr0 -nn -icmp 在物理机上抓包

使用网络名称地址空间虚拟路由器

~]# ip netns add route1
~]# ip netns list
~]# ip netns exec route1 tcpdump -i eth0 -nn -icmp
~]# ip netns exec route1 bash 打开虚拟路由环境route1的bash窗口 
~]# exit 退出此虚拟环境

done......