换交换机时新插上的网口不亮

        今天一天都在做我最不喜欢的工作，还屡次犯错……原先节点用的万兆网卡，交换机用IB交换机，交换机的速率是40万兆，一分四，一个口给四个万兆口用。现在要换成万兆的交换机，问题就来了。

        一开始客户端和节点直接找了个SFP模块再接光纤线插上，节点网口灯亮的，客户端灯不亮。后来发现时SFP模块不匹配，我用的8G的光纤SFP模块，应该找个万兆的SFP，虽然长得一样，差距可大了。于是换上，还是不亮，后来绝望中把网卡驱动重新加载了一下，就好了。

        如上图所示ixgbe是Intel在linux下的万兆网卡驱动，下面的dca和mdio是两个模块吧，mdio是数据管理输入输出端口，dca就不知道是什么了，这样重新加载灯就亮了。具体原因同事说是之前用的IB模块现在没切换过来，不知道靠不靠谱，不过经验告诉我们遇到问题时重启啊，重新加载啊还真是有帮助的。这里要注意的是rmmod的顺序，要先卸载ixgbe，如果先卸载了dca或mdio，会报错它正在被使用。加载的时候用insmod失败了，因为insmod要写明具体的.ko文件的地址，modprobe用名字就行了，而且modprobe也比较智能，能根据驱动的依赖性加载，一次性加载所有依赖的驱动，insmod就做不到这一点。

        后来别人建议把节点的网卡也换掉，说和万兆交换机不匹配，我很无语，明明是没问题的，但是还是换了，换网卡的过程中机箱搬不动，就把盘全拔了，再插上的时候两台节点的盘混了，铸成大错！节点的系统是装在RAID里的，一般不都装在DOM盘里吗，哎，这家公司真是很逗啊……于是系统就这样再也起不来了，想修复的时候发现，VGA接口也坏了，屏幕一片漆黑，真是屋漏偏逢连夜雨，之前VGA接口一直是好的啊……

        幸好还有两个节点没动过，就用剩下的吧，以后拔插硬盘一定一定要慎重啊！

        继续测试的时候问题又来了，读写经常出错，transport endpoint not connected，这个错误再熟悉不过了，网络断了，或者节点那边glusterd进程关了，ping节点果然有时通有时不通，一开始表现地很有意思，一写10G的文件就断，写1G，2G。。。都不断，后来不写也断。连串口看到交换机频繁的UP和DOWN，同事说可能是因为连交换机的主机都是用了两个网口，这两个网口都接在一个网卡上，又同时接交换机，这样就形成了环路，就出问题了。所以每台主机各拔了一个网口，可是正常了一段时间又开始频繁UP和DOWN了。主机虽然各拔了一根网线，但是原先做的端口绑定的配置文件，还在，原先做的Mode6，没交换机什么事啊，不知道是不是这个原因，就试了一把，把之前的配置文件删了，Bonding模块卸载了，这样就彻底能Ping通了，测试过程中也没有断过，哦也~

        但是还是不知道原先的Bond6模式为什么老是断了，这个模式也不需要交换机支持啊，现在测不成网口绑定了，只能测单网口，性能不好。