Esxi 6.7 Centos7 突然满负载进入假死拒绝服务状态

提示：请注意 环境匹配度 和 信息的时效性。侵删！

---

环境

• Esxi 6.7
• Centos 7

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、发生了什么？

前一天部署docker测试服务后，第二天发现这台Centos7虚拟机CPU、内存满载，无任何响应。在页面上尝试重启、关机、挂起、恢复快照等方法无效。遂进入命令行强制停止服务并恢复快照。

故障截图：

二、操作步骤

1.查看故障主机vm编号

[root@localhost:~] vim-cmd vmsvc/getallvms 或者 esxcli vm process list
Vmid           Name                                          File                                      
33     86-centos7              [MechanicalData] 85-centos7/85-centos7.vmx                         centos7_64Guest       vmx-13              
34     99-yolo5_centos7        [TOSHIBA] 99-yolo5_centos7/99-yolo5_centos7.vmx                    centos7_64Guest       vmx-13   

[root@localhost:~] find vmfs/ -name 99-yolo5_centos7
vmfs/volumes/61b2fc09-1c5c9caf-9a3a-00e04cc201a7/99-yolo5_centos7

2.尝试停止主机

# 使用vim-cmd停止主机， 无效
[root@localhost:~] vim-cmd vmsvc/power.shutdown 34
# [root@localhost:~] vim-cmd vmsvc/unregister 34 # 取消注册
# [root@localhost:~] vim-cmd vmsvc/snapshot.revert 34 4 suppressPowerOn # 恢复快照
(vim.fault.TaskInProgress) {
   faultCause = (vmodl.MethodFault) null, 
   faultMessage = <unset>, 
   task = 'vim.Task:haTask-34-vim.VirtualMachine.powerOff-543833681'
   msg = "Received SOAP response fault from [<cs p:0000003299e72a10, TCP:localhost:8307>]: shutdownGuest
Another task is already in progress."


# 使用esxcli 强制结束虚拟机，失败
[root@localhost:~] esxcli vm process kill --type=force --world-id=3300116
89-centos7
   World ID: 2998306
   Process ID: 0
   VMX Cartel ID: 2998305
   UUID: 56 4d b6 d7 40 65 c3 f9-fd fe 05 64 af d1 c8 9d
   Display Name: 89-centos7
   Config File: /vmfs/volumes/6189ddd7-4959cd1c-9064-00e04cc201a7/89-centos7/89-centos7.vmx

# 使用kill杀掉进程 ，无效
[root@localhost:~] ps | grep vmx
2110204  2110182  vmx-vcpu-6:76-Ubuntu1804         
2110205  2110182  vmx-vcpu-7:76-Ubuntu1804         
3300115  3300115  vmx                              
3300127  3300115  vmx-vcpu-0:99-yolo5_centos7      
3300129  3300115  vmx-vcpu-1:99-yolo5_centos7      
3300130  3300115  vmx-vcpu-2:99-yolo5_centos7      
3300131  3300115  vmx-vcpu-3:99-yolo5_centos7      
2956958  2956958  vmx                              
2956965  2956958  vmx-vthread-295 
[root@localhost:~] kill -9 3300115
sh: can't kill pid 3300115: No such process

# 查看确认,此时使用esxcli无法查看到99的虚拟机
[root@localhost:~] esxcli vm process list  
# 使用vim-cmd命令发现主机还在，并没有被停止。而此时web页面中也可以确认虚拟机还在。
[root@localhost:~] vim-cmd vmsvc/getallvms
34     99-yolo5_centos7        [TOSHIBA] 99-yolo5_centos7/99-yolo5_centos7.vmx                    centos7_64Guest       vmx-13   

尝试直接删除镜像文件，失败：

[root@localhost:~] find vmfs/ -name 99-yolo5_centos7
vmfs/volumes/61b2fc09-1c5c9caf-9a3a-00e04cc201a7/99-yolo5_centos7
[root@localhost:~] rm -rf /vmfs/volumes/61b2fc09-1c5c9caf-9a3a-00e04cc201a7/99-yolo5_centos7 
Device or resource busy

---

总结

  在网络上闲逛时，Linux无法删除文件夹 Device or resource busy 这篇文章提到无法删除可能是其所挂载的磁盘有问题。在尝试 umount 卸载磁盘无效后，发现可能是某个磁盘出问题了，遂 重启设备，更换磁盘，重建虚拟机了。