KVM虚拟化- KVM 虚机内存管理

1  概念

1.1 基本概念

——内存也需要硬件模块VT-x与VT-d 的支持，查看系统内存状态的命令有：

注：这些命令的结果可能不同，因为有的数据是统计数据

      NPT (Nested PageTables)AMD称为NPT

      GVA (Guest Virtual Address) 客户机虚拟地址 guest

      GPA (Guest Physical Address) 客户机物理地址

      HPV (Host Physical Address) 客户机物理地址 Hypervisor

      EPT (Extended Page Tables)属于Intel的二代硬件虚拟化技术，针对内存管理单元(MMU)的虚拟化扩展。EPT降低了内存虚拟化的难度(影子页表)也提升了内存虚拟化的性能。从基于Intel的Nehalem架构的平台开始，EPT作为CPU的一个特性加入到CPU硬件中去了。

      一个机子对应一个影子页表，记录了客户机虚拟地址与客户机逻辑地址、客户机物理地址的对应关系——虚拟机的物理地址对应着物理机的逻辑地址，物理机逻辑地址对应着物理机的物理地址。所以在没有EPT之前，内存的压力很大，既要存储影子页表又要管理这些影子页表。为了解决内存压力就产生了EPT，1个EPT页表=N个影子页表。CPU用EPT记录影子页表的信息，CR3会根据EPT表的信息把交互信息直接交给内核处理，这样内存的管理压力与存储压力就缓解了许多。

      由于影子页表的存在，如果物理机内存只有32G的话，那只能安装3个8G内存的虚拟机，剩下的空间要留给内存进行管理以及其他工作。

      VPID (VirtualProcessor Identifiers)虚拟处理器标识,提升实时迁移的效率,同时节省实时迁移的开销,提高速度,降低延迟。在进行虚拟机迁移时，不仅要保证CPU型号一致，还要保证内存的编号与新物理机中的虚拟机编号的内存不冲突，这是VPID就发挥了作用。

      TLB (translation lookaside buffer)旁路转换缓冲，或称为页表缓冲；里面存放的是一些页表文件（虚拟地址到物理地址的转换表）。

#grep  ept  /proc/cpuinfo

#grep  vpid   /proc/cpuinfo

#cat   /sys/module/kvm_intel/parameters/ept

#cat   /sys/module/kvm_intel/parameters/vpid

#modprobe   kvm_intel   ept=0,vpid=0

1.2 大页（hugepages）

      大页(Huge Page) 的硬件要求：x86_­64CPU支持2MB大页；内核2.6以上支持大页

      大页的功能：减少内存页数量，从而需要更少的页表，节约页表所占用的内存数量，减少地址转换，提高内存访问性能。地址转换信息一般保存在CPU缓存中，减少地址转换信息，从而减少CPU缓存压力。

1）先查看不使用大页时的状态   

#getconf   PAGESIZE                           //内存的单位存储

#cat   /proc/meminfo  |  grep   Huge

2）使用大页

第一步 需要给大页一个存储位置，所以要挂载个大页格式的设备  

#mount   -t   hugetlbfs    hugetlbfs   /dev/hugepages

#hugepages=yes                               //开启大页

第二步 修改内核参数   #sysctl   vm.nr_hugepages=1024

注：1024的单位是个，所以内存为2M*1024=2048M

3）观察大页变化：

      多开启几个虚拟机，观察CPU、内存、硬盘与进程的变化。注意，用了大页之后就无法使用swap空间的交换了，也不能以ballooning方式增长。

      ballooning增长方式，如果物理机内存是6G，创建虚拟机1、2各是8G内存，虚拟机开机只用了2G内存，但是虚拟机都以为自己是8G内存，所以当虚拟机1需要运行应用时会向物理机请求内存（虚拟机不知道是请求，只知道自己有8G内存），假设是还要2G，物理机得知请求后会把空闲的2G分配给虚拟机1，虚拟机1运行完应用后不会主动将内存还给物理机（因为虚拟机只知道那是自己的内存），此时如果虚拟机2也需要2G内存运行程序，那么物理机会把虚拟机1的多余2G内存像挤气球一样挤出来分配给虚拟机2，如果内存还是不够用，那么物理机会把闲置的程序交换到swap分区，腾出内存空间。正常情况下，物理机会不断地挤气球，把闲置的内存空间尽量放在自己这里。

4）虚拟机想要使用大页的话，直接输入命令 #hugepages=yes 。或者在虚拟机的xml文件中添加内容：

<memoryBacking>

<hugepages/>

</memoryBacking>

注意，配置虚拟机建议就修改配置文件，三方工具功能不全。

2  内存超配

      内存80%-90%的时候就应该警惕，此时很快就会使用swap空间了，需要查一查是什么原因，且内存是否有使用增长趋势，为什么增长，增长就要解决。内存50%时，但是此时却用了1G的swap空间，这更要警惕了，除了NUMA会导致这种情况以外，还有别的原因。

      某服务器32GB物理内存，其上运行64个内存为1GB的客户机。宿主机需要4GB内存满足系统进程/驱动/磁盘缓存及其它应用程序所需内存（不包括客户机进程所需内存）。客户机交换分区大小为：1G*64+4G-­32G=36G；因此宿主机交换分区大小为：36G+8G=44G。

      内存的超配比1.2-1.5，也就是实际内存是1G的话，虚拟机内存加一起不能超过1.5G。生产环境中，实际内存与swap空间的比例=1:（1-2），但是根据行业说法，内存>8G时，swap就都给8G，不够用了再增加即可。增加swap空间的方法有dd文件,swapon 设备或分区，或者使用LVM

• 实际上swap空间就是自动实现了内存的超配，当内存不够用时，主机会使用swap进行交换，把待机的应用放到swap空间，正在使用的程序在内存中，但是swap空间会使得主机运行很慢。程序无响应就是因为内存不够了，swap交换很慢。
• balloon也能实现内存超配，但是需要安装驱动。通过virio_balloon驱动来实现宿主机Hypervisor和客户机之间的协作。
• 页面共享实现内存超配(page sharing) 通过KSM(Kernel Samepage Merging)合并多个客户机进程使用的相同内存页。

---

转载请注明出处，谢谢！