由双网卡绑定引起的惨案

技术部的同事去上海某公司实施安装堡垒机，周五的时候，客户用漏洞扫描工具扫描设备，发现openssh版本过低，让升级之后再继续安装。于是两个同事买了火车票，并将堡垒机关机，打算回家，等研发将openssh版本升级之后再回来。

他们离开客户，还没到火车站呢，就被客户叫回去了。原来，在他们走后，客户的机房大面积瘫痪，网络出现严重故障。不是都关机了吗，怎么还会发生这种事呢。

到达客户现场后，发现问题确实是这样的：将堡垒机网线拔掉，网络恢复正常，网线插上，网络崩溃。于是马上向公司反馈了情况。当时已经下班了，研发也都走了，又打电话一个一个叫回来解决问题。

现场第一条线索就是设置了双网卡绑定（通过多张网卡绑定为一个逻辑网卡，实现本地网卡的冗余，带宽扩容和负载均衡）功能，以分散单网卡的压力，第二条是关机状态下引起的故障。

研发开始在公司做实验，发现公司网络没有出现故障。老板之前做过网络工程师，他提出了测试的思路。如下图所示。

                                                          

                                                                                            图1

                                                                                          图2

1. 图1，使用两台电脑各连到一个交换机上，然后将两个交换机连接堡垒机的Lan1和Lan2口（堡垒机有6个网口），将堡垒机关机，发现pc1能够ping通pc2，开机之后就ping不通了。
2. 图2，将两个交换机连接堡垒机的Lan3和Lan4口，也是一样的情况。
3. 而将两个交换机连接堡垒机的Lan1和Lan3口，或者Lan2和Lan3等其他组合，则都是不通的。

从实验结果可知，Lan1和Lan2，Lan3和Lan4，这两组网口是存在硬件层面的绑定的。

翻出了设备提供商的技术手册，发现如下一行功能说明：“bypass功能，Lan1Lan2, Lan3Lan4。”这个bypass是什么呢。

Bypass，就是可以通过特定的触发状态（断电或死机）让两个网络不通过网络安全设备的系统，而直接物理上导通，所以有了Bypass后，当网络安全设备故障以后，还可以让连接在这台设备上的网络相互导通。

意思就是，设备关机之后，bypass功能启用。这个功能对于防火墙、交换机等设备比较有用。而对于客户现场，则出现了如下的网络状况。

堡垒机关机之后，触发了bypass，这时候有两根网线连接在同一个交换机上，这两根网线便通过堡垒机形成环路。网络环路的危害有多大呢？

如果存在网络环路，那会造成每一帧数据都在网络中重复广播，交换机处于一种发狂的状态，引起广播风暴，进而导致整个网络崩溃。

针对这种情况，应该如何解决呢。原来网络设备早就有消除环路的方法，那就是启用生成树协议。   

生成树协议最主要的应用是为了避免局域网中的单点故障、网络回环，解决成环以太网网络的“广播风暴”问题，从某种意义上说是一种网络保护技术，可以消除由于失误或者意外带来的循环连接。

跟客户沟通的时候发现，客户那边的交换机设置为关闭生成树协议，所以没有控制惨剧的发生。

想起岳云鹏的一句相声台词，这不巧了吗这不是。我们这边有bypass功能，他们那边又关闭了生成树协议。这样当我们技术部的两个同事关闭设备，打算回家过周末的时候，客户机房里的交换机却触发了剧烈的网络风暴。