OFED简介

简介

Mellanox OFED是一个单独的VPI(Virtual Protocol Interconnect，虚拟协议互联)软件栈。文档地址：https://docs.mellanox.com/display/MLNXOFEDv461000/Introduction。

Mellanox OFED栈的架构

mlx4 VPI Driver

ConnectX®-3可以作为一个IB(InfiniBand)适配器，或者一个以太网卡。mlx4是ConnectX® 家族适配器的低层驱动实现。OFED驱动支持IB和以太网配置，为了适应这些配置，这个驱动被分为下面模块：

• mlx4_core：处理底层功能如设备初始化和固件。同时控制资源分配从而让IB和以太网功能可以互不干扰地共享设备
• mlx4_ib：处理IB功能并且插入到IB中间层
• mlx4_en：drivers/net/ethernet/mellanox/mlx4下一个10/24GigE的驱动，处理以太网功能
  libmlx4 is a userspace driver for Mellanox ConnectX InfiniBand HCAs.It is a plug-in module for libibverbs that allows programs to useMellanox hardware directly from userspace.

mlx5 Driver

mlx5是the Connect-IB® and ConnectX®-4适配器的底层驱动实现。Connect-IB作为IB适配器而ConnectX-4作为一个VPI适配器(IB和以太网)。mlx5包括了以下内核模块：

• mlx5_core：作为一个通用功能库(比如重置后初始化设备)，Connect-IB® and ConnectX®-4适配卡需要这些功能。mlx5_core也为ConnectX®-4实现了以太网接口。和mlx4_en/core不同的是，mlx5驱动不需要mlx5_en模块因为以太网功能已经内置在mlx_core模块中了。
• mlx5_ib：处理IB功能
• libmlx5：实现指定硬件的用户空间功能。如果固件和驱动不兼容，这个驱动不会加载并且会打印一条信息在dmesg中。下面是libmlx5的环境变量：
  • MLX5_FREEZE_ON_ERROR_CQE
  • MLX5_POST_SEND_PREFER_BF
  • MLX5_SHUT_UP_BF
  • MLX5_SINGLE_THREADED

上层协议（ULP）

IP over IB (IPoIB)

IPoIB驱动是IB上的一个网络接口实现，它封装IP数据包到一个连接的IB或数据报传输服务。IPoIB在IP数据报前面增加了一个头，并通过IB传输服务发送出去。传输服务默认是不可靠数据报（UD），但也可以配置为可靠连接（RC），如果支持RC的话。这个接口支持单播、多播和广播。

Mellanox OFED包

ISO镜像

MLNX_OFED_LINUX(Mellanox OFED for Linux)是作为一个ISO镜像或tar包提供的，每个支持的Linux发行版和CPU架构一个，包括了源代码，二进制RPM，固件，工具和文档。ISO镜像包含了一个安装脚本（mlnxofedinstall），它执行了必要的步骤完成以下功能：

• 发现当前安装的内核
• 卸载操作系统自带的IB栈或其他商业栈
• 安装当前内核对应的MLNX_OFED_LINUX
• 确认当前安装的IB HCA，执行必要的固件升级

软件组件

模块参数