Ubuntu节点的万兆网搭建

之前用千兆网跑MXNet的分布式，由于训练数据量比较大并且通信比较频繁，网络通信开销太大，训练速度非常慢，正好实验室有闲置的万兆网设备（万兆网卡、万兆交换机），因此打算给各个工作节点配上万兆网卡（Chelsio T310），并共同接入万兆交换机（RackSwitch G8100）中，下面说一下具体过程。

1、插网卡

将万兆网卡插入节点的PCI插槽中（节点要有空闲的PCI插槽才行）

2、安装网卡驱动

（1）节点的系统是Ubuntu 14.04桌面版的，系统已经集成了相应的驱动，可以不用安装了，没有驱动的话也可以去网卡设备商官网下载安装即可。

（2）使用命令，查看是否安装成功。

lspci | grep 'et'

可以看到系统识别到了两个网卡，一个是千兆网卡，另一个是万兆网卡也就是刚刚安装的Chelsio T310。

3、配置万兆网卡地址

使用命令，查看当前网卡IP的配置情况。

ifconfig

可以看到千兆网卡eth0已经配置好了IP地址，而万兆网卡eth1还没配置好IP，我们的万兆交换机没有外网接入，因此打算把千兆网卡

配置为外网，万兆网卡配置为内网。

修改网络配置文件：

sudo vim /etc/network/interfaces

配置信息如下：

# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 211.69.198.225
netmask 255.255.255.0
dns-nameservers *.*.*.*（自己的dns地址）
auto eth1
iface eth1 inet static
address 192.168.0.1
netmask 255.255.255.0

配置完后重启节点，再次使用ifconfig命令查看：

可以看到万兆网卡eth1已经配置好了地址了。

使用相同的方法，给另外一个节点IP配置成192.168.0.2，在节点1中，使用命令：ping 192.168.0.2，ping通了，说明网络可以连通，结果如下：

4、测试万兆网的效果

可以使用命令查看，结果如下：

nm-tool 

当然还是自己用命令测一下实际效果更踏实一点，我们使用iperf3命令测试，iperf3安装命令：

sudo apt-get install iperf3

（在此提醒一点，不要用iperf2版本测，因为这个版本对万兆光纤网支持不是很好，测试结果会有误）
使用iperf3命令，一个节点做服务端，另外一个节点做客户端。

服务端命令：

iperf3 -s

客户端命令：

（1）测试千兆网：

iperf3 -c 211.69.198.225 （-c 参数后跟服务端的千兆网卡ip）

结果如下：

（2）测试万兆网：

iperf3 -c 192.168.0.1 （-c 参数后跟服务端的万兆网卡ip）

结果如下：

按以上方法给各个gpu节点搭建万兆网即可。

接下来就可以使用万兆网跑MXNet的分布式了（如果你有InfiniBand网络就最好了，万兆光纤网只能算是一种折中吧）。