KVM

简介

KVM是一个轻量级的虚拟化管理程序模块，该模块主要来自于Linux内核。
KVM是一个全虚拟化的解决方案。可以在x86架构的计算机上实现虚拟化功能。但KVM需要CPU中虚拟化功能的支持，只可在具有虚拟化支持的CPU上运行，即具有VT功能的Intel CPU和具有AMD-V功能的AMD CPU。

 

KVM是全虚拟化

 

 

安装配置KVM

首先查看CPU是否支持硬件虚拟化

lsmod |grep kvm

egrep 'vmx|sv' /proc/cpuinfo

 

yum -y install qemu-kvm qemu-kvm-tools virt-manager libvirt virt-install

管理kvm的工具是libvirt ( KVM集群管理工具ovirt )

libvirt 包含 libvrit API库 + libvirtd datemon + 用户工具（virsh）

libvirt是管理KVM的工具，如果后台libvirt挂了 也不会影响虚拟机运行

libvirt包含自己的工具（如virsh），自己的类库，libvirtd服务

 

创建虚拟机硬盘

qemu-img create -f raw Centos7.raw 5G

• -f ： 指定硬盘格式
• opt/Centos-6.9.raw ： 指定磁盘文件位置
• 5G ： 磁盘文件大小

 

创建KVM虚拟机

首先启动libvirtd

systemctl start libvirtd.service

启动libvirtd后查看网络 会多出一块virbr0的桥接网卡

还会启动一个dnsmasq的服务 用于给虚拟机分配IP地址

调用的配置文件 /var/lib/libvirt/dnsmasq/default.conf 里面包括网卡名称，网段范围

virt-install --name Centos7.3 --virt-type kvm --ram 1024 --cdrom=/opt/CentOS-7-x86_64-DVD-1611.iso --disk path=/opt/Centos7.raw --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole

 

执行命令后可以用VNC连接进行配置安装，默认端口5900

vnc如果出现闪退问题解决方法

打开VNC Viewer依次点击Option-->Advanced-->Expert找到ColourLevel，默认值是pal8，修改为rgb222或full就好了。

 

更改默认网卡名称为eth0

 

安装完系统后点击root，kvm是关闭状态

启动kvm安装的虚拟机

virsh start Centos7.3

 

在宿主机上查看KVM

每一个qemu-kvm进程就是一个虚拟机

 

管理虚拟机

使用virsh命令

virsh list --all  查看所有虚拟机

• virsh start Name  启动指定名称的虚拟机
• virsh shutdown Name 关闭指定名称虚拟机
• vrish undefine Name 删除指定名称虚拟机

 

虚拟机与外界通讯是通过宿主机iptables上的nat转换实现的

iptables -t nat -vnL

 

如果不希望使用nat转换，可以自己常见一个桥接网络，因为现在的网络外面是无法连进来的

 

把虚拟机的IP设置成与宿主机同网段

kvm网络分为4种

• 1 nat
• 2 桥接
• 3 路由
• 4 封闭模式
• 默认是nat模式

创建桥接网卡

brctl addbr br0

把创建的桥接网卡绑定到宿主机ens33上

brctl addif br0 ens33

注：做完这一步宿主机网络会中断哦！（生产环境中写个脚本）

登录宿主机操作吧

删除ens33上IP

ip addr del dev ens33 192.168.2.100/23

把IP绑定到br0网卡上

ifconfig br0 192.168.2.100/23 up

添加一条默认路由

route add default gw 192.168.3.254

生产环境脚本：

#!/bin/bash
brctl addbr br0
brctl addif br0 ens33
ip addr del dev ens33 192.168.2.100/23
ifconfig br0 192.168.2.100/23 up
route add default gw 192.168.3.254

 

宿主修改刚刚创建的虚拟使用br0网卡

/etc/libvirt/qemu

所有创建的虚拟机都在该目录下有一份xml文件（这个xml文件就是该虚拟机的定义），直接使用vim修改该文件是不会生效的

根据提示使用virsh edit Centos7.3修改配置

virsh edit Centos7.3

 

 

修改标红三处

• interface type= 网络类型 改为桥接 bridge
• source network= 网络类型改为bridge
• source bridge= 网卡 改为刚刚创建的br0网卡

修改成功后启动虚拟机

virsh start Centos7.3

启动后使用VNC连接设置IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0

 

设置虚拟机cpu数量和内存

热添加的前提是宿主机和虚拟机都是Centos7的前提下

在创建虚拟机的时候可以指定使用cpu数量和最大cpu数量

virt-install --name Centosbr0 --virt-type kvm --ram 1024 --vcpus 2,maxvcpus=4 --cdrom=/opt/CentOS-7-x86_64-DVD-1611.iso --disk path=/opt/Centos7-br0.raw --network bridge=br0 --graphics vnc,listen=0.0.0.0 --noautoconsole

• --vcpus 2,maxcpus=4 当前使用cpu数量为2，最大数量为4 以后热添加cpu的时候会用到最大cpu数

热添加cpu

virsh setvcpus Centosbr0 2 --live

添加后登陆虚拟机查看

ll /sys/devices/system/cpu/

查看新添加的cpu是否启用

cat /sys/devices/system/cpu/cpu1/online

老版本的KVM需要手动启用添加的cpu，现在默认自动启用了

cat /proc/interrupts

 

如果在创建的时候没有指定--vcpus 1,maxcpus=4 我们需要修改对应虚拟机的xml文件

virsh edit Centos7.3

<vcpu placement='auto' current='1'>4</vcpu>  当前cpu数量1 最大数量4

重启虚拟机

virsh reboot Centos7.3

热添加

virsh setvcpus Centos7.3 2 --live

 

调整内存

查看虚拟机内存大小

virsh qemu-monitor-command Centos7.3 --hmp --cmd info balloon

virsh edit Centos7.3

 

热调整内存大小

宿主机上执行

virsh qemu-monitor-command Centos7.3 --hmp --cmd  balloon 512

 

虚拟机查看

 

虚拟机存储

全镜像模式（一次性分配磁盘大小）

代表 raw

稀疏模式（用多少占多少磁盘，预分配）

qcow2

使用qcow2存储创建虚拟机方法

创建磁盘

qemu-img create -f qcow2 /tmp/test.qcow2 10G

安装虚拟机

virt-install --name Centosqcow2 --virt-type kvm --ram 1024 --cdrom=/opt/CentOS-7-x86_64-DVD-1611.iso --disk /tmp/test.qcow2,format=qcow2 --network bridge=br0 --graphics vnc,listen=0.0.0.0 --noautoconsole

 

磁盘管理命令

qemu-img info Centos7.raw

 

resize（重新分配）虚拟机磁盘大小

qemu-img resize Centos7.raw -2G

注意:qcow2镜像只能增加大小，不能减少，raw的格式支持增加和减少，生产环境最好不要resize，我操作后造成虚拟机无法启动！！

 

KVM集群管理工作

1 cloudstack java开发的

2 openstack python开发的

3 zstack 非开源

 

KVM优化

CPU优化

因为每个kvm虚拟机对宿主机来说都是一个进程，受CPU调度器控制，也就是CPU L 1（一级缓存）中的L 1d（数据缓存） L 1i（指令缓存）有可能会在切换到不同的CPU时会失效，所以我们可以绑定KVM虚拟机到指定CPU

指令：taskset命令

1 查出虚拟机对应PID

ps -ef|grep qemu

2 把指定虚拟机PID绑定到指定CPU

taskset -cp 1 15718 #把15718这个进程绑定到1号cpu

3 绑定后测试

pidset -p 15718 1 （每一秒执行一次）

 

内存优化（物理层INTER的CPU采用了EPT技术）

开启大页内存（Centos7默认开启）

cat /sys/kernel/mm/transparent_hugepage/enabled

内存合并

KSM 内存合并 相同内存合并 ksmd

大页内存 khugepaged 把连续的4k内存合并成为2M

 

I/O优化

目前KVM这块支持5种磁盘缓存模式，writethrough、writeback、none、directsync或者unsafe。一般用到的就是前面3种，后面两种几乎不会使用。

• writethrough：（直写模式）数据直接写入磁盘里，不使用缓存；在数据更新时，同时写入缓存Cache和后端存储。此模式的优点是操作简单；缺点是因为数据修改需要同时写入存储，数据写入速度较慢。
• writeback：（回写模式）在数据更新时只写入缓存Cache。只在数据被替换出缓存时，被修改的缓存数据才会被写到后端存储。此模式的优点是数据写入速度快，因为不需要写存储；缺点是一旦更新后的数据未被写入存储时出现系统掉电的情况，数据将无法找回。
• none：这种模式作用在Guest OS Pagecache和Physical Disk 

从图中可以看到，writeback采用了guest和host两层的page cache，也就是说同一个文件会存在两份cache，这是没有必要的，none和writethrough都会绕过host层的page cache。

低于QEMU-KVM 1.2 的版本kvm默认的cache方式是writethrouh，这种方式是最安全的，不会造成数据的不一致性，但是性能也是最差的。

总的来说，这三种模式，从安全和性能两角度分析，效果如下： 
性能上： writeback > none > writethrough 
安全上 ：writeback < none < writethrough 

修改方法

编辑虚拟机对应的xml文件然后启动虚拟机

virsh edit Centos7.3

在disk标签中添加 cache='none'

 

I/O调度模式

查看当前调度模式

cat /sys/block/sda/queue/scheduler

Centos7有三种模式

• noop     ssd磁盘推荐 调整为noop 不需要调度
• deadline  调度最小延迟 一般情况下推荐使用 （3.0内核默认调度算法）
• cfq   完全公平队列跑桌面的情况下（2.6内核默认调度算法）

Centos6还有一种调度模式

anticipatory  预期算法 有一个IO发生，如果另一个进程请求IO操作，它会生成一个默认的6毫秒来猜下道工序要做的IO请求

 

根据自己的实际需要修改，方法如下

临时修改方法
echo deadline > /sys/block/sda/queue/scheduler
永久更改方法
vim /boot/grub/menu.lst
在 rhgb quiet前面加入下面内容 重启后生效
elevator=deadline 
重启后检查
cat /sys/block/sda/queue/scheduler

 

利用磁盘镜像创建虚拟机

利用本机虚拟机创建

首先关闭本地需要克隆的虚拟机

virsh shutdown Centos7.3

virt-clone -o Centos7.3 -n clone -f /tmp/clone.qcow2

• -o 本地镜像虚拟机名称
• -n 新创建的虚拟机名称
• -f 新创建虚拟机磁盘位置

 

利用镜像创建虚拟机

首先导出一份虚拟机xml文件

virsh dumpxml Centos7.3 > /etc/libvirt/qemu/br0.xml

• name 全局唯一
• uuid 全局唯一
• source file 镜像路径

导入虚拟机xml文件

virsh define /etc/libvirt/qemu/br1.xml

virsh start br1

 

以后在利用镜像创建虚拟机就可以先cp一份镜像并起个新名称，cp一份xml文件重新命名，然后vim修改以上三个位置name，uuid，source file ，导入虚拟机xml文件，查看并启动，一个新的虚拟机就创建成功。

 

如果本地磁盘镜像类型是不是qcow2得，我们可以把他转成qcow2减少文件体积

qemu-img convert -O qcow2 Centos7-br0.raw Centos7-br0.qcow2

 

查看存储类型和大小

qemu-img info Centos7-br0.qcow2

 

<domain type='kvm'>
  <name>br0</name>
  <uuid>507942e6-cc92-4c4a-a30f-c0465c76b228</uuid>
  <memory unit='KiB'>1048576</memory>
  <currentMemory unit='KiB'>1048576</currentMemory>
  <vcpu placement='static' current='1'>4</vcpu>
  <os>
    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
    <boot dev='hd'/>
  </os>
  <features>
    <acpi/>
    <apic/>
  </features>
  <cpu mode='custom' match='exact' check='partial'>
    <model fallback='allow'>IvyBridge</model>
  </cpu>
  <clock offset='utc'>
    <timer name='rtc' tickpolicy='catchup'/>
    <timer name='pit' tickpolicy='delay'/>
    <timer name='hpet' present='no'/>
  </clock>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>destroy</on_crash>
  <pm>
    <suspend-to-mem enabled='no'/>
    <suspend-to-disk enabled='no'/>
  </pm>
  <devices>
    <emulator>/usr/libexec/qemu-kvm</emulator>
    <disk type='file' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source file='/opt/Centos7-br0.raw'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
    </disk>
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <target dev='hda' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>
    <controller type='usb' index='0' model='ich9-ehci1'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci1'>
      <master startport='0'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci2'>
      <master startport='2'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci3'>
      <master startport='4'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/>
    </controller>
    <controller type='pci' index='0' model='pci-root'/>
    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
    </controller>
    <controller type='virtio-serial' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
    </controller>
    <interface type='bridge'>
      <mac address='52:54:00:84:a1:e6'/>
      <source bridge='br0'/>
      <model type='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
    </interface>
    <serial type='pty'>
      <target type='isa-serial' port='0'>
        <model name='isa-serial'/>
      </target>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
    </console>
    <channel type='unix'>
      <target type='virtio' name='org.qemu.guest_agent.0'/>
      <address type='virtio-serial' controller='0' bus='0' port='1'/>
    </channel>
    <input type='tablet' bus='usb'>
      <address type='usb' bus='0' port='1'/>
    </input>
    <input type='mouse' bus='ps2'/>
    <input type='keyboard' bus='ps2'/>
    <graphics type='vnc' port='-1' autoport='yes' listen='0.0.0.0'>
      <listen type='address' address='0.0.0.0'/>
    </graphics>
    <video>
      <model type='cirrus' vram='16384' heads='1' primary='yes'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </video>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
    </memballoon>
    <rng model='virtio'>
      <backend model='random'>/dev/urandom</backend>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/>
    </rng>
  </devices>
</domain>

 

KVM集群管理

OVIRT

https://www.ovirt.org