【硬件相关】Mellanox网络配置及参数优化

Luxf0

已于 2024-03-04 18:51:14 修改

阅读量6k

点赞数 26

分类专栏：硬件相关文章标签：网络云计算

于 2024-03-04 18:39:37 首次发布

本文链接：https://blog.csdn.net/Micha_Lu/article/details/136459374

版权

一、前言

本文主要介绍Mellanox网络配置、部署管理及相关调优手段，用于后续部署实践参考使用

1、硬件配置

序号	配件名称	配件型号
1	100GE 双口网卡	Mellanox MCX456A-ECAT
2	100GE 以太网DAC线缆	Mellanox MCP1600-C003
3	100GE 以太网交换机	Asterfusion CX532P-NT-AC

2、网卡信息

NVIDIA ConnectX InfiniBand网卡介绍
 NVIDIA ConnectX-4 InfiniBand/Ethernet Adapter Cards User Manual

网卡端口：双口（Dual-port QSFP28）
网卡速率：InfiniBand: SDR/DDR/QDR/FDR/EDREthernet: 10/25/40/50/100 Gb/s
PCIe版本：8.0GT/s（PCIe 3.0）
插槽宽度：x16 lanes
网卡驱动：mlx5_core

[root@node154 ~]# lspci | grep Eth | grep Mellanox
3b:00.0 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
3b:00.1 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]

[root@node154 ~]# lspci -vvv -s 3b:00.0 | grep -E '(LnkCap:|LnkSta:)'
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM not supported, Exit Latency L0s unlimited, L1 <4us
                LnkSta: Speed 8GT/s, Width x16, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

二、驱动安装

1、驱动介绍

MLNX_OFED Introduction

Mellanox OFED是一个单一的虚拟协议互连(Virtual Protocol Interconnect，VPI)软件栈，可以在所有Mellanox网络适配器解决方案中运行，支持以下到服务器的上行链路:

网卡类别	网卡驱动	上行速率
ConnectX®-3/ ConnectX®-3 Pro	mlx4	InfiniBand: SDR, QDR, FDR10, FDR Ethernet: 10GigE, 40GigE and 56GigE
ConnectX®-4	mlx5	InfiniBand: SDR, QDR, FDR, FDR10, EDR Ethernet: 1GigE, 10GigE, 25GigE, 40GigE, 50GigE, 56GigE1, and 100GigE
ConnectX®-4 Lx	mlx5	Ethernet: 1GigE, 10GigE, 25GigE, 40GigE, and 50GigE
ConnectX®-5	mlx5	InfiniBand: SDR, QDR, FDR, FDR10, EDR Ethernet: 1GigE, 10GigE, 25GigE, 40GigE, 50GigE, and 100GigE
ConnectX®-5 Ex	mlx5	InfiniBand: SDR, QDR, FDR, FDR10, EDR Ethernet: 1GigE, 10GigE, 25GigE, 40GigE, 50GigE, and 100GigE
ConnectX®-6	mlx5	InfiniBand: SDR, EDR, HDR