100GB Mellanox InfiniBand 网卡虚拟化技术调研

最新推荐文章于 2024-06-12 11:10:07 发布
最新推荐文章于 2024-06-12 11:10:07 发布
阅读量1.1k 收藏 28
点赞数 21
文章标签： 网络 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/redhat7890/article/details/135829415
版权

调研目的

验证 Mellanox InfiniBand 100GB网卡和SR650 Server能兼容

ThinkSystem SR650

Power On (Booting OS or in undetected OS)

Machine Type/Model7X05CTO1WW

验证 SR-IOV虚拟话技术在BIOS/Firmware/Kernel/QEMU/Libvirt能被支持

4.18.0-305.19.1.el8_4.x86_64

验证 Virtual Function PCI设备在KVM能支持passthough

物理硬件

ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port PCIe VPI Adapter

lspci

0000:2f:00.0 Ethernet controller [0200]: Mellanox Technologies MT28908 Family [ConnectX-6] [15b3:101b]

0000:2f:00.1 Ethernet controller [0200]: Mellanox Technologies MT28908 Family [ConnectX-6] [15b3:101b]

网口直连（无IB交换机）

无 InfiniBand Switch，如果将100GB IB卡接10GB 交换机纯属暴殄天物，直接IB两口直连，可使网速最大化

BIOS设置

  • SR-IOV（Single Root I/O Virtualization）

    • 必须开启：SR-IOV是一种硬件虚拟化技术，用于在共享物理网络适配器的环境中创建多个虚拟网络适配器。SR-IOV 允许多个虚拟机 (VM) 直接访问物理适配器的硬件资源，从而提高了网络性能和可靠性。

  • Intel VT-d（Virtualization Technology for Directed I/O)

    • Intel VT-d 是一种硬件级别的 I/O 虚拟化技术，用于提供更安全和更高效的 I/O 访问控制和虚拟化。包括以下几个方面：

      • DMA 保护：DMA (Direct Memory Access) 是一种设备与内存之间直接传输数据的方式。Intel VT-d 技术可以保护系统内核和用户空间的内存不被非授权设备读写，从而提高系统的安全性。

      • SR-IOV：SR-IOV (Single Root I/O Virtualization) 是一种硬件级别的虚拟化技术，用于在共享物理网络适配器的环境中创建多个虚拟网络适配器。Intel VT-d 技术可以支持 SR-IOV，并通过硬件分离和隔离来保护虚拟适配器的安全性。

      • PCI Express 隔离：Intel VT-d 技术可以在 PCIe (Peripheral Component Interconnect Express) 总线上执行 I/O 隔离和分区，从而避免了物理设备之间的干扰和冲突，提高了 I/O 性能和可靠性。

网卡驱动升级

注意：100GB IB的网口模式不支持端口PF-VF的虚拟化技术，2个网口不够用，网卡驱动必须升级

第一步：打开Mellanox官网下载驱动 Linux InfiniBand Drivers

​

第二步：解压缩执行 ./mlnxofedinstall 会发现缺少依赖，按提示反复执行mlnxofedinstall直到依赖全部装上

./mlnxofedinstall

# ./mlnxofedinstall

Logs dir: /tmp/MLNX_OFED_LINUX.11337.logs

General log file: /tmp/MLNX_OFED_LINUX.11337.logs/general.log

Verifying KMP rpms compatibility with target kernel...

Error: One or more required packages for installing MLNX_OFED_LINUX are missing.

Please install the missing packages using your Linux distribution Package Management tool.

Run:

yum install kernel-modules-extra tk

第三步：报错kernel版本不支持时，需要执行驱动自带的脚本

./mlnxofedinstall

# bash mlnx_add_kernel_support.sh -m ./

Note: This program will create MLNX_OFED_LINUX TGZ for rhel8.1 under /tmp directory.

Do you want to continue?[y/N]:y

See log file /tmp/mlnx_iso.20469_logs/mlnx_ofed_iso.20469.log

Checking if all needed packages are installed...

/lib/modules/4.18.0-305.19.1.el8_4.x86_64/build//scripts is required to build mlnx-ofa_kernel-modules RPM.

Please install the corresponding kernel-devel RPM.

Error: One or more required packages for installing OFED-internal are missing.

Please install the missing packages using your Linux distribution Package Management tool.

Run:

yum install kernel-devel-4.18.0-305.19.1.el8_4.x86_64 kernel-rpm-macros

如上述命令报错，缺少kernel-devel依赖，则继续安装依赖，直到报错消失

再次执行下述命令

./mlnxofedinstall

./mlnxofedinstall --add-kernel-support

第四步：修改opensm配置文件, 则opensm服务无法重启

vi /etc/infiniband/openib.conf

# run Firmware update utlity upon system boot in order to update Firmware for newly installed devices

RUN_FW_UPDATER_ONBOOT=yes

Firmware升级

Slot No.

Device Name

Status

Version

Manufacturer

Release Date

1ThinkSystem Mellanox ConnectX-6 HDR100/100GbE QSFP56 2-port PCIe VPI AdapterActive20.30.1004Mellanox Technologies2021/03/29

Kernel启动参数修改

grub启动界面点击e进入command模式

default intel_iommu=on iommu=pt

  1. intel_iommu=on：该参数用于启用 Intel VT-d（Virtualization Technology for Directed I/O）。Intel VT-d 提供硬件级别的 I/O 虚拟化支持，可以增强系统的安全性和性能。启用该选项后，操作系统可以访问和管理 IOMMU（I/O Memory Management Unit），以支持设备的直接内存访问 (DMA) 和虚拟机的 I/O 虚拟化。

  2. iommu=pt：该参数设置 IOMMU 使用的页表类型为 “passthrough”。IOMMU 的页表用于映射设备的物理地址和虚拟地址之间的转换。通过设置 iommu=pt，IOMMU 将直接传递虚拟地址给设备，而不进行额外的转换或修改。这种模式通常用于需要最低延迟和最高性能的应用场景。

uname -a

Linux systemtest 4.18.0-305.19.1.el8_4.x86_64 #1 SMP Wed Sep 15 15:39:39 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

官网参考：

redhat7890
关注
  • 21
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
中科曙光培训资料-Mellanox InfiniBand 交换机.pptx
07-09
- **2014-2015年：**EDR InfiniBand 预期推出，Mellanox 成功研发出世界上首款 EDR 100Gb/s 交换机。 ##### 技术特点 Mellanox 的 InfiniBand 技术具有以下显著特点： - **高带宽**：支持高达 100Gb/s 的数据传输...
mellanox网卡驱动.zip
03-10
Mellanox则是一家知名的网络设备制造商，其产品包括高性能的网络接口控制器（NICs），尤其是在InfiniBand和Ethernet网络领域有着广泛的应用。这款"Mellanox网卡驱动.zip"压缩包显然是为了在银河麒麟操作系统上为...
MLX网卡从ETH模式改为IB模式后网卡状态是down
u010101453的博客
03-05 827
根据端口的guid，指定端口开启opensm，命令是opensm -g 0xe8611ff94f210000 -B -p 14，-B是后台运行，-p是指定优先级为14，最高优先级。现象：两台服务器各配一张MLX CX7，与对端网口互相直连，两张卡从ETH模式改为IB模式后，opensm服务正常启动，且有网卡配置文件，配置了IP，但是网卡状态是down。ibstat查看设备GUID。
Mellanox InfiniBand兼容性：将QSFP28模块速率从56G提升至100G
qq_45166408的博客
07-27 645
本文将详细介绍如何进行这些改码操作，并分析测试结果。通过将InfiniBand速率标识置于Page 00h Byte 164处，并在Page 00h Byte165-167处标识Mellanox OUI，我们可以将QSFP28模块的速率从56G改为100G。速率改码后的分析测试: 完成标识地址的修改后，我们需要进行一系列的分析测试来验证速率是否已成功改为100G。结论: 通过修改标识地址，我们可以成功将QSFP28模块的速率从默认的56G提升至100G，以满足更高的数据中心和高性能计算需求。
ubuntu—Mellanox MT28908网卡使用dpdk 一站式！！
最新发布
weixin_46672177的博客
06-12 595
6.使用sysctl（sysctl命令用于设置和显示在/proc/sys目录中的内核参数）命令设置vm.nr_hugepages，将大页个数设置为200（200 * 2M=400M，需要确保宿主机有足够可以分配的内存）。Mellanox网卡不需要绑定到dpdk上，使用的就是mlx5驱动，可以直接识别dpdk，绑到dpdk上以后反而无法使用网卡。下载时需要选择自己所用 OS和 CPU架构对应的版本，下载压缩包版本，解压进入。如需绑定网卡到dpdk，即更换网卡的驱动，以igb_uio为例。
Mellanox Infiniband 架构设计快速实战指南 - B
ShawnTheCoder的博客
05-21 4234
书接上回：Mellanox Infiniband 架构设计快速实战指南 - A 2. Infiniband协议类型 在 Mellanox Infiniband Topology Generator 中，选定了网络拓扑后，接下来很重要的就是选定Infiniband的Data Rate，或者可以称为Infiniband协议类型。 在Wikipedia中，Infiniband历史上全部的类型包括 SDR： 2001/2003年 DDR： 2005年 QDR： 2007年 FDR： 2011年 EDR： 2014年
Mellanox Infiniband 架构设计快速实战指南 - A
ShawnTheCoder的博客
05-20 5997
Nvidia GTC 2020正在进行中，Nvidia（英伟达）最终完成了对以色列高速计算网络厂商Mellanox的收购，再一次被黄老板高度评价。Mellanox Infiniband至今依然是高速计算互联网络的主流厂商和解决方案，在HPC领域应用广泛。本文基于Mellanox官方提供的材料，介绍如何快速上手Infiniband高速互联网络的设计规划。
VMware ESXI 7.0 U3使用Mellanox网卡MCX6开启SR-IOV
qq_29109843的博客
01-25 865
VMware 7.0 U3 MCX653105A-HDAT-SP 驱动 nmlx。
Mellanox Ethernet 网卡虚拟化
Mickeywaugh的专栏
07-16 2292
网卡型号: MT27800 1.BIOS里开启SRIOV，CPU开启VT以及安装网卡对应的驱动等过程略 2.修改启动菜单参数 执行命令vi /etc/default/grub，按“i”进入编辑模式，在linuxefi行后添加启动参数“intel_iommu=on iommu=pt pci=realloc”。 添加完参数之后的启动参数如下： GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root
Mellanox ConnectX-2 万兆以太网卡WIN7,WS2008，64位驱动。
02-15
Mellanox ConnectX-2 型号MNPA19-XTR 10G万兆网卡万兆网卡Windows 7,Windows Server 2008，X64驱动。
Mellanox Infiniband产品及解决方案介绍.pdf
10-12
公司的技术发展路线图展示了 Infiniband 技术的发展方向，包括从 10Gbps 到 100Gbps 的高速发展道路。 InfiniBand贸易协会（IBTA） InfiniBand贸易协会（IBTA）是 Infiniband 行业的贸易协会，成立于 1999 年。IBTA...
Mellanox IB卡 虚拟化
Mickeywaugh的专栏
07-16 2644
IB卡型号： MT27500 1.BIOS里开启SRIOV，CPU开启VT以及安装网卡对应的驱动等过程略 2.修改启动菜单参数 执行命令vi /etc/default/grub，按“i”进入编辑模式，在linuxefi行后添加启动参数“intel_iommu=on iommu=pt pci=assign-busses pci=realloc”。 添加完参数之后的启动参数如下： GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.
虚拟机上如何使用主机上的网卡连接设备
lingsnoopy的博客
12-26 961
在使用VMware的过程中，有时候需要在虚拟机连接设备测试软件，因此虚拟机与物理主机需要处于同一个局域网段，这时候就可以使用桥接模式。2、打开VMware上方菜单栏的 【编辑】→【虚拟网络编辑器】1、虚拟机网络设置设置为桥接模式。搜索设备：选择虚拟机的网卡。3、设置虚拟机网卡的IP。
CentOS上安装Mellanox OFED
独自陶醉
01-19 1718
Tgz解压缩执行 ./mlnxofedinstall发现缺少模块。先安装 kernel modules。打开Mellanox官网下载驱动。
Single Root IO Virtualization (SR-IOV)一：环境设置
探索未知，成就非凡
07-12 1912
由于同一个 mlx5_core 驱动程序支持物理功能和虚拟功能，因此创建虚拟功能后，PF 的驱动程序将尝试初始化它们，以便拥有 PF 的操作系统可以使用它们。如果您的服务器使用此类文件，请改为编辑此文件（intel_iommu=on在以“linux16”开头的行末尾添加相关菜单条目）。注意：仅当在 grub.conf 文件中设置了 IOMMU（通过添加 intel_iommu=on，如“设置 SR-IOV ”下的第四步中所示）时，才会生成此文件。将需要为 PF 创建的虚拟功能的数量写入 sysfs 文件。
Mellanox网卡驱动——representor框架学习
leiyanjie8995的博客
12-06 4407
背景：DPU多是参考mellanox网卡软硬件框架。对于ovs快速转发路径硬化的场景，网络报文进入进入FPGA的网口，如果流表匹配，直接通过快速路径送到主机。如果不能匹配，则需要soc上的ovs慢速路径创建新的流表项，然后下发给FPGA。 云场景下，一般都是虚拟机和容器的场景，网卡会开启VF，每个VF都可以作为一个网卡设备使用。mellanox的网卡针对这种场景使用了representor的概念。在soc上为每个representor口虚拟出了一个representor，每个representor都对应一
IB网卡配置过程（转载）
qq_32379851的博客
11-15 2664
其中 HWADDR与UUID可以不写，写的话要自己给ifcfg-ib0生成一个UUID，#uuidgen eth1，最主要的就是一定要加TYPE=InfiniBand，博主在这块浪费了好久时间，做了很多无用功，不过也搞清楚了这中间的部分细节。设置好了通过ip a可以查看。客户端执行qperf 10.0.0.5 ud_lat ud_bw rc_rdma_read_bw rc_rdma_write_bw uc_rdma_write_bw tcp_bw tcp_lat udp_bw udp_lat可以看到。
Mellanox Infiniband测试多张网卡的带宽
06-02
要测试多张 Mellanox Infiniband 网卡的带宽，您可以使用 Mellanox 官方提供的工具 ib_write_bw。它可以通过命令行参数 "-p" 来指定使用的网卡端口。例如，要测试第一个网卡端口的带宽，可以使用以下命令： ``` ib_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值