【硬件相关】IB网/以太网基础介绍及部署实践

一、前言

1、Infiniband网络

What is InfiniBand Network and the Difference with Ethernet?

Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术，这项技术是由 IBTA (InfiniBand Trade Association)定义的，该技术在超级计算机集群领域得到了广泛的应用。

1.1、网络类型

Infiniband在物理层定义了多种链路速度，如x1链路、x4链路、x12链路，每个单独的链路都是四线串行差分连接（每个方向两根线），目前大多采用x4链路，当前Infiniband主流常见网络类型参考如下：

网络类型	信号速率	编码方式	x1链路速率	x4链路速率	x12链路速率
SDR（Single Data Rate）	2.5Gb/s	8b/10b	2Gb/s	8Gb/s	24Gb/s
DDR（Double Data Rate）	5Gb/s	8b/10b	4Gb/s	16Gb/s	48Gb/s
QDR（Quad Data Rate）	10Gb/s	8b/10b	8Gb/s	32Gb/s	96Gb/s
FDR（Fourteen Data Rate）	14.0625Gb/s	64b/66b	13.64Gb/s	54.54Gb/s	163.64Gb/s
EDR（Ehanced Data Rate）	25.78125Gb/s	64b/66b	25Gb/s	100Gb/s	300Gb/s
HDR（High Data Rate）	50Gb/s	64b/66b	50Gb/s	200Gb/s	600Gb/s
NDR（Next Data Rate）	100Gb/s	64b/66b	100Gb/s	400Gb/s	1200Gb/s

1.2、网络拓扑

Infiniband是处理器和I/O设备之间数据流的通信链路，支持多达64,000个可寻址设备。IBA(InfiniBand Architecture)是一个行业标准规范，它定义了一个点对点交换输入/输出框架，用于互连服务器、通信基础设施、存储设备和嵌入式系统。

Infiniband具有广泛性、低时延、高带宽和低管理成本等优点，是将多个数据流(集群、通信、存储、管理)在一个连接中连接数千个节点的理想选择。最小的IBA完整单元是一个子网（单个子网最大可由6万多个节点组成），多个子网通过路由器相互连接，形成一个大的IBA网络。子网内部使用交换机进行二层处理，子网之间使用路由器或网桥进行连接。

Infiniband是一种基于通道的结构，通道适配器就是搭建Infiniband通道使用的，所有传输均以通道适配器开始或结束，以确保安全或在给定的QoS（服务质量）级别下工作。其组成单元可以分为以下四类：

• HCA（Host Channel Adapters）：主机通道适配器
• TCA（Target Channel Adapters）：目标通道适配