本学习笔记系列都是采用CentOS6.x操作系统,KVM虚拟机的管理也是采用virsh方式,网上的很多的文章都基于ubuntu高版本内核下,KVM的一些新的特性支持更好,本文只是记录了CentOS6.x系列操作系统下KVM优化的点,有很多都是默认支持开启了的,除了采用virtio方式的磁盘IO,与网络IO接口优化之外,其它真是无需太多优化。
1. CPU性能优化
(1) 服务器或宿主机主板BIOS中开启Intel Virtualization Technology(简称VT), 如果主板支持Intel VT-d,建议开启,一些高级的设备的直接分配功能,需要用到该功能。
[root@node01 ~]# egrep '(vmx|svm)' --color=always /proc/cpuinfo
(2) 将qemu进程绑定到特定的CPU node(CPU)或core(核)上——避免L2/L3 Cache miss
待进一步学习。
2. 内存的优化(CentOS6.5 默认开启)
1)EPT巡址优化(默认开启),虚拟地址到物理地址的转换。
[root@node01 ~]# egrep '(ept|vpid)' --color=always /proc/cpuinfo
fpu_exception : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt aes xsave avx f16c rdrand hypervisor lahf_lm ida arat epb xsaveopt pln pts dts tpr_shadow vnmi ept vpid fsgsbase smep
fpu_exception : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt aes xsave avx f16c rdrand hypervisor lahf_lm ida arat epb xsaveopt pln pts dts tpr_shadow vnmi ept vpid fsgsbase smep
2)开启透明巨页支持
kernel进程khugepaged周期性扫描内存, 自动将地址连续可合并的普通4KB page合并为2MB Hugepage,减少page table.该功能针对KVM虚拟化可能有效果,对于一些特殊服务器,例如数据库等可能会起到相反的结果。
CentOS6.5 默认支持透明巨页,参数查看如下:
# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
# 参数说明:
never : 关闭
alway : 尽量使用透明内存,扫描内存,有512个4k页面可以整合,就整合成一个2M的页面, 需要使用swap的时候,内存被分割为4k大小.
madvise : 避免改变内存占用
# 建议宿主机、KVM虚拟机均开启THP、EPT ,性能有很大的提升。
其它: 临时关闭THP方式
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
3) KSM (Kernel same-page merging) 如果虚拟机内存不会超配,可以禁用KSM。
CentOS系统中KSM默认是关闭的
# cat /sys/kernel/mm/ksm/run
0
开启KSM
# echo 1 > /sys/kernel/mm/ksm/run
关闭KSM
# echo 0 > /sys/kernel/mm/ksm/run
3. 磁盘IO优化
virtio半虚拟化I/O设备框架,标准化guest与host之间数据交换接口,简化流程,减少内存拷贝,提升虚拟机I/O效率
1) virtio-blk (PCI方式挂盘) virtio默认模式 /dev/vda
2) virtio-SCSI (SCSI方式挂盘)磁盘模式/dev/sda,与真实服务器环境一致,需要高版本内核才支持。等进一步测试。
3) 磁盘缓存模式
writeback :性能好 (小IO不适用)
none :中
writethrough :下(KVM默认)
4) Native aio: kernel AIO (2%-3%) threaded aio: user space AIO emulated by posix thread workers
5) 块设备IO调度器
CentOS6.5 系统中默认采用的是cfq
# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]
参数说明,其它几种参数可以尝试。
cfq :perprocess IO queue 较好公平性,较低aggregate throughput
deadline :per-device IO queue 较好实时性,较好aggregate throughput, 不够公平,容易出现VM starvation
可以直接采用如下方式修改:
# echo "noop" > /sys/block/sda/queue/scheduler
# cat /sys/block/sda/queue/scheduler
[noop] anticipatory deadline cfq
4. Network IO
参考学习:http://cloud.51cto.com/art/201412/459638_all.htm
参考学习:http://www.netfoucs.com/article/VICTOR1984/89055.html
1)virtio 本系列KVM虚拟机均是采用该模块,windows操作系统需要单独安装驱动kvm虚拟化学习笔记(五)之windows虚拟机性能调整
2) vhost-net 基于virtio框架的虚拟以太网设备。高版本内核才支持。
说明:上面只是列出优化点,有些还需要进一步的实验进行验证。
转载于:https://blog.51cto.com/koumm/1606422