网络故障排除手记二则

 

一日邮政告知与我公司收费系统网络出现故障，无法正常代收费。我方收费服务器系统为ＳＣＯ　UNIX，地址为192.1.1.5。水费系统里登记的邮政代收服务器IP地址为192.168.1.5。在服务器上Ping192.168.1.5延时<10Ms，而且很稳定并无丢包现象。同时这几天并没有对网络进行调整。询问邮政方面，邮政方面也说未对网络进行调整，在邮政192.168.1.5服务器上Ping192.1.1.5延时<10Ms，而且也很稳定并无丢包现象。同时表示此服务器上其它代收业务都工作正常，以此证明不是邮政方面服务器和网络的问题。（简图如下）  

经过反复测试发现虽然192.168.1.5的服务器与我方192.1.1.5服务器通讯正常，但是他们有一台中间业务服务器192.168.1.3的主机Ping不通我方主机192..1.1.5。我方收费系统服务器上也无法ping 通192.168.1.3。在服务器上用netstat –rn命令查看路由表destination为 192.168.1.0gateway地址为192.1.1.2。而且traceroute 192.168.1.2和192.168.1.5路由都正常，为什么唯独192.168.1.3会不通呢？而且traceroute192.168.1.3没有任何路径回复显示。双方的路由表及防火墙设置好象都没有问题。现象很奇怪，一时摸不清头绪了，决定减少路由范围，一条一条的进行排查。先在我方服务器上将整段IP的路由取消，单独一条一条的加对方服务器的IP路由进行测试。

以ROOT身份登陆192.1.1.5服务器。输入命令route delete 192.168.1.0 192.1.1.2 然后route add 192.168.1.5 192.1.1.2没问题，route add 192.168.1.3 192.1.1.2 这时却提示File exists，这种情况一般表示系统里已经有了这样一条路由，但是再用netstat –rn查看路由表，根本查不到有192.168.1.3这条路由，按照有这条路由来处理，用route delete 192.168.1.3 192.1.1.2删除这条看不到的路由，再次添加 route add 192.168.1.3 192.1.1.2再运行netstat –rn查看路由表，显示有192.168.1.3这条路由。这时ping 192.168.1.3延时<10Ms问题解决。貌似原来有一条隐藏路由碎片造成这次故障现象。

 二、

一日我公司分部告知无法上网，Ping分部的路由器地址出现严重的掉包现象，赶到现场后将分部的内网与路由器的连接断开，通知对端Ping路由器地址正常，再将内网连上路由器，又出现严重的掉包现象。说明故障在内网上。（简图如下）

通过观察路由器端口的信号灯发现闪烁的极其快，说明有大量的数据包通过。怀疑是内网中了ARP病毒，大量发送数据包占用了带宽资源。公司分部平时并没有做完善的安全措施，也没有做电脑的ARP地址登记，要想找出是哪台电脑中了ARP病毒只有一台电脑一台电脑的核查，工作量太大。于是通过将内网交换机端口网线逐一插拨，再通过观察路由器接口指示灯的闪烁来判断是哪个端口发来的数据包太多。当拨出一根网线发现路由器指示灯闪烁明显变慢时，确定了就是这根网线发来大量的数据包。

到这根网线标示所在的房间里一查，却原来并不是ARP病毒的原因，是一个临时工作组驻扎的房间。由于电脑太多，临时接了个HUB，网线又太乱，竟有一根网线在HUB上同时接了两个端口，造成了这次的故障。