高速连接方案概述

前言：伴随着时代的发展数据中心的连接速率也在飞速提升着，本文将详细讲解高速以太网连接方案，重点以200G/400G部分800G/1.6T速率方案为主。

一.光模块类型

SFP（small form factor plug）模块类型：

1. QSFP（Quad Small Form-factor Pluggable）：​最初设计支持四个通道，每通道速率为1.25 Gbps，总带宽为4 Gbps。​随着技术发展，QSFP+、QSFP56和QSFP112等版本相继推出，支持到更高的400Gbps。​

2. QSFP-DD（Quad Small Form-factor Pluggable Double Density）：​在QSFP的基础上增加了通道数量，支持八个通道，比QSFP通道翻倍，每通道速率为50 Gbps，总带宽可达400 Gbps。

OSFP（Octal Small Form-factor Pluggable）模块类型：

3. OSFP（Octal Small Form-factor Pluggable）：​设计为八个通道，每通道速率为50 Gbps/100 Gbps/200Gbps，总带宽最高可达1.6Tb/s。​OSFP的尺寸略大于QSFP-DD，旨在支持更高的功率和散热需求。

4.OSFP-XD（Octal Small Form-factor Pluggable eXtended Density）: 设计为16个通道,每个通道支持100Gbps/200Gbps,总带宽最高支持到3.2Tbs。

          （OSFP有两种物理尺寸，较大的继承了散热器通常用于交换机，较小的通常用于网卡）

              （OSFP‑XD、OSFP 和 QSFP‑DD 模块的相对尺寸比较）

二.直连线缆主要类型

1. DAC（Direct Attach Cable，直连铜缆）：

无源DAC：​不包含信号调节组件，依赖设备的驱动能力，适用于短距离连接，成本较低。

有源DAC：​内置信号调节组件，可增强信号，支持更长的传输距离，但成本和功耗相对增加。

2.  ​AOC（Active Optical Cable，有源光缆）:

组成：​由两端的光收发器和中间的光纤组成。​

特点：​重量轻、抗电磁干扰、传输距离更长，适用于需要高带宽和长距离传输的场景。

三.光模块规格

 

                                                            （光模块规格解释图）

200Gb/s速率光模块：

QSFP56-SR4： 在多模光纤（MMF）上通过4个通道进行200Gbps传输，使用850nm激光，传输距离在OM3光纤上可达70米，在OM4光纤上可达100米。​采用四通道50G速率 ，PAM4调制，多模光纤，MPO12连接器（仅使用12芯中的8芯中间4芯不参与，可以使用MPO8光纤连接）。

QSFP56-DR4： 在单模光纤（SMF）上通过4个通道进行200Gbps传输，使用1304.5−1317.5 nm波长的激光，传输距离可达500米。​单模光纤，MPO12连接器。

QSFP56-FR4： 在单模光纤上通过波分复用（WDM）技术的4个通道进行200Gbps传输，使用1271−1331 nm波长的激光，传输距离可达2公里。​单模光纤，LC双工。

QSFP56-LR4： 在单模光纤上通过WDM技术的4个通道进行200Gbps传输，使用1295-1309 nm波长的激光，传输距离可达10公里。​​单模光纤，LC双工。

QSFP56-ER4： 在单模光纤上通过WDM技术的4个通道进行200Gbps传输，使用1295-1309 nm波长的激光，传输距离可达40公里。​单模光纤，LC双工。

400Gb/s速率光模块：

OSFP：

400G OSFP SR8：传输距离最大可达100米，​​850nm波长，​多模光纤（MMF），​MPO/MTP-16。​调制技术：​50G PAM4。

400G OSFP DR4：传输距离​最大可达500米，​1310nm波长，​单模光纤（SMF），​MPO/MTP-12。​调制技术：​100G PAM4。

400G OSFP DR4+：传输距离​最大可达2公里，1310nm波长，​单模光纤（SMF），​MPO/MTP-12，调制技术：​100G PAM4。​

400G OSFP FR4：传输距离​最大可达2公里，​CWDM4波长（1271nm、1291nm、1311nm、1331nm），单模光纤（SMF），​LC双工，调制技术：​100G PAM4。​

400G OSFP LR4：传输距离最大可达10公里，​CWDM4波长，​单模光纤（SMF），LC双工，​调制技术：​100G PAM4。​

QSFP-DD：

400G QSFP-DD SR8：传输距离​最大可达100米，850nm波长，​多模光纤（MMF），MPO/MTP-16。​调制技术：​50G PAM4。​

400G QSFP-DD DR4：传输距离​最大可达500米，1310nm波长​，单模光纤（SMF），MPO-12。​调制技术：​100G PAM4。​

400G QSFP-DD FR4：传输距离​最大可达2公里，波长：​1271nm、1291nm、1311nm、1331nm（CWDM4波长），​​单模光纤（SMF），​​双工LC。​调制技术：​100G PAM4。​

400G QSFP-DD LR4：传输距离​最大可达10公里，波长：​1271nm、1291nm、1311nm、1331nm（CWDM4波长），​单模光纤（SMF），双工LC。​调制技术：​100G PAM4。

QSFP112：

400G QSFP112 SR4：传输距离在 OM3 多模光纤上最大可达 70 米，在 OM4 多模光纤上最大可达 100 米，​​850nm波长，​多模光纤（MMF），​MPO-16，​调制技术：​112G PAM4。​

OSFP112:

400G OSFP112 SR4：传输距离100米，850nm波长，多模光纤（MMF），MPO-16，调制技术：112G PAM4。
 

四. 光模块兼容性：

QSFP类型：

QSFP全部向下兼容，但是不兼容SFP，QSFP-DD向下兼容QSFP56，QSFP28。QSFP112同样向下兼容QSFP56，QSFP28。需要注意虽然QSFP-DD在外形上尺寸相同但是因通道数量以及速率不同，通常是不兼容的QSFP112的。但是如果光模块具有Gearbox芯片那么就可以将8*56Gbps的电信号转为4*112Gbps的电信号那么QQSFP112光模块就可以在QSFP-DD的电笼中正常运行。

OSFP类型：

OSFP光模块与全部QSFP/SFP光模块均不兼容，但是对于相同通道速率的QSFP-DD光模块可以直接使用MPO16光纤进行连接。

OSFP112可以与QSFP112直接使用MPO连接器的光纤进行连接。

同时对于拥有相同调制类型的QSFP光模块可以使用OSFP to QSFP Adapter进行连接。

五. 常见拆分方案

400G to 2*200G :

1. 分支直连铜缆（DAC）： 这种方案使用被动直连铜缆，将400G QSFP-DD端口拆分为两个200G QSFP56连接

2. 分支有源光缆（AOC）： 这种方案利用有源光缆将一个400G QSFP-DD端口拆分为两个200G QSFP56连接

3. 使用MPO16 to 2*MPO8光纤：使用QSFP-DD sr8光模块以及两个QSFP56 sr4光模块，尽管多数QSFP56光模块要求使用MPO12连接器光纤但是事实上仅使用两侧各4芯共8芯所以MPO8光纤也是完全可以的。（同调制OSFP光模块同样使用该方法）

       （飞速mpo16 to 2*mpo8跳线）

400G to 4*100G :

1. 使用MTP-LC：使用QSFP-DD DR4光模块与100G DR光模块，400G QSFP-DD DR4光模块可通过MPO-12转4*LC双工分支光纤跳线连接对端100G DR光模块或者8芯PTO-LC配线盒（后者更适合机房环境使用）

                                                                 （飞速配线盒）

800G to 2*400G :

1. 使用400*2 OSFP光模块：使用一个800G OSFP 2*MPO16光模块，两个MPO16光纤以及2*QSFP112/2*OSFP112。

                      （SMF/MMF 解决⽅案的光 PMD：800G‑VR/SR4.2 和 800G‑DR4.2）

六. 高速交换机及网卡概况

说明：目前市面上多数高速交换机&网卡都是Nvidia旗下mellanox的所以下文主要引用该品牌产品进行说明，不对InfiniBand 主机通道适配器 （HCA）进行详细说明。

400Gbps网卡&DPU：

ConnectX-7 ETH网卡（NIC）以及BlueField-3均提供200Gbps-400Gbps的速率，根据Nvidia官网提供的产品列表来看其接口只有OSFP400G/QSFP112这两种接口，但是市面上出现了OSFP112/QSFP-DD等非官网所示的型号，以及一些接口基于QSFP-DD/QSFP112的速率为2*200G/4*100G的拆分网卡，甚至还有部分型号可以通过刷固件来将200Gbps的速率提升到400Gbps的。

                                                        （ConnectX-7 Pcie网卡）

                                                      （ConnectX-7 OCP3.0网卡）

                                              （BlueField-3 SuperNIC/BlueField-3 DPU）

400/800Gbps ETH交换机：

目前Nvidia在产品线中提供400Gbps速率的ETH交换机有SN4700和SN5400，两款交换机接口均采用QSFP-DD接口与采用QSFP112接口的ConnectX-7和BlueField-3不兼容。若要使用400Gbps速率的ConnectX-7和BlueField-3产品则需要SN5600交换机，该交换机拥有64个800Gbps速率的OSFP接口可以通过拆分兼容QSFP112接口。

                                                        （SN5600&SN5400 ETH Switch)

                                                                   (SN4700 ETH Switch)

如果需要800Gbps交换机连接QSFP-DD的交换机或者网卡则可以使用 OSFP 2*400G 2*Fr4光模块和QSFP-DD Fr4光模块，使用两根MPO12光纤连接。

                                （800G switch-to-two QSFP-DD switches at 400Gb/s）

除此之外市面上还可以经常看到一些亚马逊等公司淘汰下来的400Gbps交换机其品牌通常是Celestica采用Innovium（英诺微）的ASIC，需要注意的是有的是无系统的尽管有ONIE（Open Network Install Environment）但是无法安装公开的SONIC等白盒交换机系统，其原系统大概率是定制的。还有一类是有系统的其通常搭载基于Ubuntu系统的DiagOS，如果需要调试则需要进入其SDK环境然后使用IVM(Innovium 交换芯片的远程命令行环境Innovium Remote Shell)才可以调试，操作起来相比于Nvidia的Cumulus Linux还是有些麻烦，还需要注意的是此类交换机与ConnectX-7网卡之间的兼容性并不好，容易出现交换机端口起不来或是断流等情况。