AI存储网络接口的速度之争

AI存储网络接口分为外部接口和内部接口。内部接口包括常见的PCIe,英伟达的NVLink,AMD 的Infinity Fabric和Intel的Xe Link等,目前内部接口还在铜缆互联的阶段,以后我们可以专门用文章讲一讲内部接口的光互联发展趋势。外部接口包括以太网、Infiniband、Fiber Channel、SAS,这些网络早已使用光模块进行互联,下面我们一起来以光模块的视角来探讨一下不同网络的应用。这里需要说明的是,由于光模块是透传数据,不在意网络类型。网络技术的最小单位帧则是以0和1的排列组合构成,光模块只根据主机的信号传输0和1。所以客户在购买光模块时,只需关注的是:工作速率,封装形式和传输距离。本文也是从这三个方面来讨论。为了便于记忆,本文提及的速率均取整数。

 1.以太网

以太网的协议我们之前整理过,这里不在赘述。目前以太网最高速率800G和1.6T的协议还在制定中。根据大成鹏的客户的实际使用情况,目前AI算力使用是400G和200G为主,AI存储则以200G为主。400G封装形式为OSFP、QSFP-DD和QSFP112,200G封装形式为QSFP-DD和QSFP56,根据主机接口封装类型决定。传输距离:多模光纤100米使用多模光模块,单模光纤500m和2km使用单模光模块,机柜内部3米使用无源铜缆DAC,服务器/存储主机和TOR交换机互联使用有源光缆AOC在30米内。表1为以太网网络的速率类型发展。

序号

标识

速率

封装

速率*电信道数组合

1

FE

100Mbps

SFP

100M*1

2

GE

1Gbps

SFP

1G *1

3

10GE

10Gbps

SFP+

10G *1

4

25GE

25Gbps

SFP28

25G *1

5

40GE

40Gbps

QSFP+

10G *4

6

50GE

50Gpbs

SFP56

50G *1

7

100GE

100Gpbs

QSFP28

25G *4

8

200GE

200Gpbs

QSFP56

25G *8

QSFP-DD

50G*4

9

400GE

400Gpbs

QSFP-DD

50G *8

OSFP

100G *4

QSFP112

100G*4

表 1

 2.Infiniband

目前IB网络最高速率800G。根据大成鹏的客户的实际使用情况,目前AI算力使用是800G和400G为主,AI存储则以400G和200G为主。800G和400G的封装形式IB均指定为OSFP,200G的封装形式IB指定为QSFP56。传输距离:多模光纤100米使用多模光模块,单模光纤500m和2km使用单模光模块,机柜内部3米使用无源铜缆DAC,服务器/存储主机和TOR交换机使用有源光缆AOC在30米内。表2为IB网络的速率类型发展。

序号

速率标识

速率

封装

速率*电信道数组合

1

SDR

每通道2.5Gbps

CX4

2.5G *4

2

DDR

每通道5Gbps

CX4

5G *4

QSFP+

5G *4

3

QDR

每通道10Gbps

QSFP+

10G*4

CXP

10G*12

4

FDR

每通道14Gbps

QSFP+

14G*4

CXP

14G*12

5

EDR

每通道25Gbps

QSFP28

25G*4

CXP2

25G*12

6

HDR

每通道50Gbps

QSFP56

50G*4

7

NDR

每通道100Gbps

OSFP

100G*4

8

XDR

每通道200Gbps

OSFP

200G*4

表 2

 3.Fiber Channel

按照之前的规划,第8代128GFC应该会在2021年间完成标准制定,但实际上推出时间一延再延,直到2024年的今天,仍未实际问世。目前最高速率为2018年制定完成的第7代64GFC,但是应用进展依旧十分缓慢。根据大成鹏的客户反馈情况,目前AI存储不会使用FC网络,国内设备主流还停留在16GFC和32GFC,速率跟不上算力需求。16GFC和32GFC使用的封装为SFP28。传输距离:主要为多模光纤100米使用多模光模块。表3为FC网络的速率类型发展。

序号

标识

速率

封装

速率*电信道数组合

1

1GFC

1Gbps

SFP

1G*1

2

2GFC

2Gbps

SFP

2G*1

3

4GFC

4Gbps

SFP

4G*1

4

8GFC

8Gbps

SFP+

8G*1

5

16GFC

14Gbps

SFP+

14G*1

6

32GFC

28Gbps

SFP28

28G*1

7

64GFC

56Gbps

QSFP+

14G*4

表 3

4.SAS

SAS可以作为存储设备内部接口,也可以作为外部接口。目前SAS接口最新规格是2017年制订的SAS-4,也就是24G SAS。依照原本的路线图,下一步的发展应该是带宽加倍的SAS-5,即48G SAS。但负责制定规格的SCSI贸易协会(SCSI Trade Association,STA),在2023年底,提出异于原本路线图的规画,放弃48G SAS这条提高带宽的路线,改为沿用既有的24G SAS物理层,搭配强化上层协议可靠性、安全性与效率的24G+ SAS,但是按照光模块的传输原理,SAS-4和SAS-3的数据传输并无差异。SAS作为外部接口互联的封装为Mini SAS,并且主要采用的是有源光缆AOC和无源铜缆DAC的产品形态。表4为SAS网络的速率类型发展。

序号

标识

速率

封装

速率*电信道数组合

1

SAS-1

每通道

Mini SAS

6G*4

2

SAS-2

每通道

Mini SAS

12G*4

3

SAS-3

每通道

Mini SAS

24G*4

4

SAS-4

每通道

Mini SAS

24G*4

表 4

综合以上可以直观的看到,在AI存储领域,FC和SAS网络接口已经远远的赶不上以太网和IB。目前仍旧是以太网和IB的直接竞争,现阶段在IB优秀的RDMA能力下,已经取得技术的领先优势。针对IB的崛起,以太网制定了RoCE协议,把InfiniBand的RDMA传输架构移植到以太网络中,使得RoCE兼具RDMA的低延迟与以太网的低成本特色。但是其RDMA在拥堵控制、负载平衡等方面,仍有一系列不足。所以去年成立的超以太网联盟需要制定新的协议取代现有RoCE协议,透过新的传输层来改善雍塞管理,并减少延迟等,超以太网联盟计划于今年三季度推出新的标准。