Infiniband vs 以太网Ethernet 对比

IPOIB

 

默认情况下，InfiniBand 不使用 IP 进行通信。但是，IP over InfiniBand(IPoIB)在 InfiniBand 远程直接访问 (RDMA)网络之上提供一个 IP 网络模拟层。这允许现有未经修改的应用程序通过 InfiniBand 网络传输数 据，但性能低于应用程序原生使用 RDMA 时的数据。

互联网广域 RDMA 协议(iWARP)和 RoCE 网络已基于 IP。因此，您不能在 IWARP 或 RoCE 设备之上创建 IPoIB 设备。Mellanox 设备从 ConnectX-4 及更高版本开始，默认使用 Enhanced IPoIB 模式（仅限数 据报）。这些设备不支持连接的模式。

IPOIB通讯模式，在 Datagram 或 Connected 模式下配置 IPoIB 设备。不同之处在，IPoIB 层试图使用什么类型的 队列对在通信的另一端的机器中打开：

在 Datagram 模式中，系统打开了一个不可靠、断开连接的队列对。这个模式不支持大于 InfiniBand link-layer 的最大传输单元(MTU)的软件包。IPoIB 层在传输的 IP 数据包之上添加了一个 4 字节 IPoIB 标头。因此，IPoIB MTU 需要比 InfiniBand link-layer MTU 小 4 字节。因为 2048 是一个常见的 InfiniBand 链路层 MTU，数据数 报 模式中常见的 IPoIB 设备 MTU 是 2044。 

在 Connected 模式中，系统会打开一个可靠、连接的队列对。此模式允许大于 InfiniBand 链路层 MTU 的消息，主机适配器处理数据包分段和重新传输。因 此，InfiniBand 适配器以 Connected 模式发送的 IPoIB 信息大小没有限制。但是，IP 数据包会受 size 字段和 TCP/IP 标头的限制。因此，Connected 模式中的 IPoIB MTU 最大为 65520 字节。

连接 模式模 的性能更高，但消耗的内核内存更多。 

如果系统被配置为使用 Connected 模式，它仍然会以 Datagram 模式发送多播流量，因为 InfiniBand 交 换机和光纤无法在 Connected 模式下传递多播流量。另外，当与任何未在 Connected 模式中配置的主 机通信时，系统将返回 Datagram 模式。

在运行将多播数据发送到接口上最大 MTU 的应用程序时，您必须将接口配置为 Datagram 模式，或者将 应用程序配置为以数据包大小数据包的大小封顶数据包发送的大小。

参考

Infiniband 和 以太网Ethernet 对比_legend050709的专栏-CSDN博客_ib网络跟以太网区别

什么是InfiniBand，它和以太网的区别在于什么？ - 知乎

IP over InfiniBand (IPoIB) - MLNX_OFED v4.9-2.2.6.0 LTS - NVIDIA Networking Docs