记一次虚拟机通信故障处理记录

前言

在多个客户处都出现过一个很奇怪的虚拟机的网络问题，就是虚拟机之间通信异常，或者到网关不通的。这个故障听上去像是物理网络或者虚拟网络存在问题，实际上出问题的只有个别虚拟机，通过迁移或者更换虚拟机网卡故障能解决一大部分。

问题描述

主要描述一下遇到的故障现象。

1. 虚拟机在不同主机进行vMotion 迁移之后网络不通了。
2. 虚拟机到网关可以通，但是同网段虚拟机或者跨网关虚拟机之间不通。
3. 虚拟机到个别虚拟机通信异常。

排查过程

1. 有时候将虚拟机在不同主机之间迁移后，虚拟机网络恢复正常。
2. 在虚拟机设置中，将网卡的已连接取消勾选，然后再勾选，大部分虚拟机可以恢复通信。
3. 在一部分环境中将虚拟机内部的arp表清理之后，虚拟机恢复通信。
4. 通过以上三个排查的过程，通常会考虑到物理网卡配置或者物理交换机的配置存在异常，其实每次在出网络问题之后通常会检查物理网络，运行和配置都是正常的。
5. 通过以上检查过后发现部分虚拟机之间通信，是同一类虚拟机，比如是Windows之间或者Linux 虚拟机之间有问题。
6. 除了故障虚拟机外，其他虚拟机无论在那个主机上正常，至此怀疑是虚拟机系统存在某些异常情况。
7. 最后经过查询是通信异常的虚拟机的网卡UUID值一样，出现这种情况是在创建新虚拟机时连网卡一块克隆导致系统内的UUID一致。

Windows检查网卡UUID

通过getmac 命令检查虚拟机的UUID。下面两张图，显示了不同的虚拟机的网卡MAC地址不一致，但是UUID是一致的。

Linux检查网卡UUID

通过nmcli connection show 命令检查虚拟机的UUID。

故障解决

Windows虚拟机

Windows虚拟机未找到手动更新网卡的方法，解决方法是将虚拟机的网卡删掉再重新添加一个网卡配置IP地址即可。

Linux虚拟机

1. 通过uuidgen命令手动更新UUID。
   

2. 记录UUID的值，在修改网卡配置文件中的记录。
   

3. 重启网络服务，检查新的UUID
   

问题原因

出现这个故障是因为在部署新的虚拟机时采用完整克隆，正常在配置模板机的时候应该将网卡删掉，克隆出新虚拟机之后再添加网卡。

注：如果Windows 虚拟机在未将IP地址从网卡上删除即移除了网卡可以参考下面的链接操作

输入的 IP 地址已分配给另一个适配器