排障日记-20210121

        先简单描述一下今天的问题，今天下午4点突然内网断了，外网正常（外网代理与PC相同网段）。外网正常说明二层通信是没问题的，于是ping网关检查发现网关也不通。陆续有其它同事上报来的问题，总结出问题仅仅出现在自己所处的a网段。有环路，不应该ping不通网关，于是怀疑有PC占用了网关的IP地址。但是上核心交换机查ARP表排除了这个原因。

       后来进机房巡视了一番，有眼尖的同事发现了机房一台接入层交换机挂了，因为在这台交换机的业务不多了，于是我们想当然直接把业务挂到核心上。完成以后，网络并没有跟想像中一样恢复正常，回到电脑ping网关检测通了，但是ping业务系统不通（有些同事可以ping通），有些办公地址能上，但是也不那么流畅。于是连上核心交换机查看日志，发现邻居状态是断了（似懂非懂，大概这么个意思），然后用核心A交换机ping核心B交换机居然是ping不通的。想着刚断没多久，于是上核心A交换机查看ARP表看看核心B交换机网关它们之间是通过哪个端口通信的，但是并没有查到，然而瞎蒙查了核心B交换机的b网段网关，居然有学习到核心B交换机的地址。然后再上核心B交换机查看的ARP表，发现核心A交换机的a网关地址没有，但是有b网关地址。

       再次想了想，恩，这就是为什么别的网段都没问题的原因，核心A交换机跟核心B交换机的a网段是没有互相通信的。我分别使用核心A交换机上a网段的电脑ping核心交换机B的网关，核心B交换机上a网段的电脑ping核心交换机B的网关都不通，再次印证了这个结论。那是什么导致了这个故障的发生？是那台接入层交换机挂了的原因！！！核心A、B交换机之间必须通过一台下联的并且跑着a网段业务的接入层交换机通信，而这个通信是通过VRRP协议。再次查看核心A、B交换机的ARP表的b网段地址，端口都指向同一台接入层交换机，让我的结论再次成立。

       话不多说，找来一台新的接入层交换机并分别接入核心A、B交换机，做了相应的一些简单配置，接入业务测试，完美解决！！！

 

       惭愧的是，这中间花了4个多小时才解决，好多命令都忘记了；庆幸的是，思路还在。