由kvm-clock时钟源导致的SUSE 11 SP1虚拟机卡死的问题

问题描述

SUSE 11 SP1虚拟机使用kvm-clock作为时钟源时,虚拟机启动一段时间后,概率性出现虚拟机卡死。

处理过程

在阵列上使用top命令可以看到虚拟机出现卡死时,对应虚拟机的qemu进程CPU使用率为100%以上。虚拟机卡住几个小时后,qemu进程CPU占用率可能降低,VNC能连上虚拟机,虚拟机有部分响应。

在虚拟机中执行以下命令,确认虚拟机使用的是SUSE 11 SP1默认自带内核(低于2.6.32.16):

# uname -r
2.6.32.12-0.7-default

在虚拟机中执行以下命令,可以确认虚拟机使用的是kvm-clock作为时钟源:

# cat /sys/devices/system/clocksource/clocksource0/current_clocksource
kvm-clock

根因

当虚拟机使用kvm-clock作为时钟源时,kvm-clock从host的KVM内核模块获取时间信息,与当前vCPU的TSC时间戳一起处理后算出一个时钟cycle值。虚拟机根据该cycle值来得到当前的时间。

kvm-clock计算cycle值依赖于host设置时间信息时的TSC值,以及vCPU读取该信息时的TSC两者的差值。但host给虚拟机多个vCPU设置时间相近的时间信息时,host不同的CPU读到的TSC值也可能相差较大,导致虚拟机里面不同vCPU算出的cycle值回跳,即时钟回退。时钟回退导致虚拟机内核死循环卡住。

解决方案

虚拟机中禁用kvm-clock时钟源:

在虚拟机中输入如下命令编辑/boot/grub/menu.list,在kernel行的最后添加“no-kvmclock”,如图1所示:

# vim /boot/grub/menu.lst


图1 添加no-kvmclock内核参数点击放大

重启虚拟机,重启后确认虚拟机使用的当前时钟源是tsc,以及可用时钟源不包括kvm-clock:

# cat /sys/devices/system/clocksource/clocksource0/current_clocksource

tsc

# cat /sys/devices/system/clocksource/clocksource0/available_clocksource

tsc acpi_pm

建议与总结

【恢复后检查】虚拟机正常运行

【适用范围】OceanStor 2800 V3