10G光纤双网卡切换问题

【问题】
环境： 1. 光纤物理交换机端口配置链路聚合（万兆光口）, 2. vSphere Distributed Switch 配置LACP， 问题： 在esxi中有2台VM，ssh登录esxi命令行禁用一块网卡后,影响一台机器通信。（在电口交换机中正常）

【小结】
用户环境中使用主机的vmnic5/vmnic7与物理交换机连接，启用LAG，物理交换机使用静态绑定。

初期分析时，按照兼容性列表升级到最新的驱动和固件，问题仍然存在。

驱动更新前：
            Bus Info: 0000:3b:00:1
            Driver: i40en
            Firmware Version: 8.40 0x8000af82 20.5.13
            Version: 1.11.1.31
驱动更新后：            
            Bus Info: 0000:3b:00:1
            Driver: i40en
            Firmware Version: 9.20 0x8000d95b 22.0.9
            Version: 2.5.2.0        

由于用户环境并未使用LACP，交换机使用静态绑定的方法，建议用户使用标准配置方式：拆除LACP LAG，将vmnic5/vmnic7设置为DVS的active上行网口，且在端口组配置处设置为Route based on IP hash。
关于Route based on IP hash的更多信息，可参考https://kb.vmware.com/s/article/2006129

在做此修改之后，问题仍然存在，在分析过程中发现ESXi把vmnic5禁用之后，服务器和物理交换机都仍然把网卡识别为up状态，因此导致通信异常，建议用户联系服务器厂商解决。

【解决方案】
服务器厂商的BIOS中有网卡设置，可在ESXi禁用网卡时完全关闭网卡。

进BIOS--Device Setting  找到X710的网卡    Permit Total Port shutdown 这个选项改为Enabled。
Permit Total Port shutdown，允许完全关闭端口。