1.问题描述
客户侧在变更容器安全组之后出现网络不通。
2.问题排查
1)接到客户反馈 Kubernetes 托管版集群出现网络问题,电话沟通后授权进行查看:Pod 网络通畅,域名解析出现异常;(ping IP 可通,但ping域名不通)
2)结合客户操作,怀疑与安全组配置有关,尝试进一步排查安全组问题。详细排查无问题后,决定重启 coredns POD。重启后 coredns POD 漂移到其它 ECS上,集群中大部分主机恢复正常;
3)确认coredns原宿主机存在网络连接问题,将该主机踢出集群后,集群恢复正常;
4)经过环境测试后最终定位原因在于客户侧误解 Kubernetes 集群安全组页面“解绑实例”功能为解绑安全组,导致误操作解绑和绑定ENI 网卡,同时产品健康检查机制存在缺陷,无法探测到辅助网卡的链路问题,导致问题无法快速发现并解决,最终导致客户集群网络无法联通。
3.优化改进
1)优化安全组页面存在“解绑实例”功能文案,同时增加由 Kubernetes 集群创建的网卡在用户解绑时的风险提示,避免客户误操作引发业务中断;
2)优化健康检查机制,确保辅助网卡链路异常场景能够被快速发现。
4.问题复现
4.1 环境准备
1)kubernetes托管版集群,网