技术札记

另外NetworkManager的配置在/etc/NetworkManager/system-connections/*下面有先关配置。如果系统使用NetworkManager，可以通过。

通过修改内核参数可以禁用可预测命名，使网络接口名称恢复为传统的eth0、eth1等逐渐增加的命名方式。具体操作包括使用grubby工具更新内核参数，分别设置net.ifname=0和biosdevname=0。修改后，通过grubby --info=ALL命令可以确认配置是否生效。

本文详细介绍了与RDMA（远程直接内存访问）相关的多个库及其功能，为RDMA应用的开发和调试提供了重要支持。主要库包括： rdma-core-devel：提供开发所需的头文件和库。 libibverbs：RDMA核心库，提供与verbs相关的接口，支持计数器操作（创建、销毁和读取）。 librdmacm：提供RDMA通信管理相关的头文件。 libibumad：属于InfiniBand的用户空间管理数据报工具，非RDMA域。 此外，工具库如librdmacm-utils和libibverbs-utils提供了

rdma-ndd是rdma-core中的一个系统守护进程，全称是 “RDMA device Node Description update daemon”，即 RDMA 设备节点描述更新守护进程。

modprobe 是用于加载内核模块的工具，与 insmod 不同，它能够自动处理模块的依赖关系。其原理是通过解析 /lib/modules/$(uname -r)/modules.dep 文件，该文件记录了模块之间的依赖关系。例如，模块 mlx5 依赖于 psample、mlxfw 等模块，同时 mlx5_vdpa 和 mlx5_ib 又依赖于 mlx5。modprobe 会根据这些依赖关系按需加载所有相关模块，并支持通过 /etc/modprobe.d/ 目录下的配置文件进行定制。modules.dep

本文介绍了如何快速查看InfiniBand设备的网络接口名称、固件版本信息以及网卡型号。通过使用ibdev2netdev -v命令，可以一步完成以下操作：首先获取IB设备的网络接口名称，接着通过ethtool -i获取固件版本信息，最后通过lspci从ethtool中查看网卡型号。这种方法简化了操作流程，提高了效率。文章还提供了实际操作截图，帮助用户更直观地理解和使用该命令。

在烧录FW文件时，文件名可能不准确，错误烧录可能导致设备故障。为了准确识别FW文件，可以使用命令flint -i ./fw-xxx.bin q来查询固件信息。该命令能够帮助用户确认固件的详细信息，确保烧录的准确性，避免因文件名错误而导致的设备问题。通过这种方式，用户可以有效地管理和验证固件文件，确保设备的安全运行。

本文介绍了两种使用mlxconfig工具进行配置重置的方式。第一种方式是通过命令mlxconfig -d /dev/mst/mt4099_pciconf0 reset将所有配置重置为默认值，操作完成后需要进行冷重启。第二种方式是通过命令mlxconfig -d /dev/mst/mt4099_pciconf0 reset NV_GLOBAL_PCI_CONF_4重置特定配置项，适用于仅需重置部分配置的场景。帮助信息中进一步解释了这两种重置方式的用途和命令格式，提供了灵活的操作选择。

可以看到没有其他报错。

rshim会根据映射的机制来使用不同的策略，比如vfio会使用vfio的标准策略（比如打开"/dev/vfio/vfio"，打开group，获取设备信息，然后mmap，pread pwrite配置，中断使能等。说先rshim开启pcie enable是在启动rshim中期，是rshim初始化后选择PCIe模式，然后PCIe的 probe阶段的初始化前期，用来初始化用户态PCIe操作的相关的准备动作。使用libpci提供的pci_cap_write，指定dev句柄，以及需要读取的cap地址和访问的地址。

使用lspci命令是如何从PCIe配置空间读取出来厂商字符串信息的？pcie设备的配置空间常规的只有64bytes，而使用lspci可以详细的关于该设备的字符串信息。这些信息并不是存储在配置空间，而是根据系统中配置文件数据库，根据vendor id和device id获取的。本文简单介绍该文件路径，方式。

包括要提供boot、misc、console、rshim等多个通道，体现了Mellanox 20多年运维网卡的经验（比如要提供一个tmfifo_net来与网卡通信，这个通道可以简化很多实验环境单机完成HOST和ARM通信，我想新开发DPU的厂商如果设计了这个 应该能省不少事儿；他在硬件上有一个专门的硬件单元。可以看到tmpfifo_net是在rshim进程启动后rshim_main中的work，启动rshim_net_init创建的，如果rshim_no_net为0，表示要开启tmpfifo就会来创建。

PCIe设备交互需要基于TLP报文，读取PCIe设备配置空间这些操作在linux内核比较方便，在用户态也有lspci、setpci等工具。如何自己手写一个用户态的PCIe设备，来扫描PCIe设备实现类似lspci的效果，本文是一个简单的实验借助 pciutils 库来扫描并显示系统里 PCI 设备的相关信息。

然后搜索：find / -name “*.ko” |grep -i act。咱们没办法，可能需要5.10的内核支持。

新安装的OS，在安装的时候没有选择开发工具，造成编译Mellanox OFED各种问题，如何快速解决？

如果超时时间到达，进程会被内核调度器唤醒。msleep 函数的核心逻辑是将毫秒数转换为内核的 jiffies 单位，并通过 schedule_timeout_uninterruptible 让当前进程进入不可中断的睡眠状态。下面例子实现一个等待函数，指定一个最长等待时间T1后，就会退出，但是等待期间会被分成多个时间窗口，每个时间窗口检测一次，每个时间窗口间隔T2；这里是网卡的驱动程序定义了一个等待行为，以阻塞方式，间歇性的读取硬件状态是否就绪，但是在等待期间会让出调度器，并且不希望被信号中断。

Linux上 NUMA（Non-Uniform Memory Access）节点的配置和数量以及拓扑会影响到GPU训练的性能。本文记录几个获取numa节点的方法。一般查看物理服务器辅助查看，比如几个cpu socket，但是内存一般看不到。不过按照逻辑来看基本和cpu的socket一致。安装工具：yum install numactl。每个nodeX目录对应一个 NUMA 节点。

手动编译Mellanox OFED在不同内核，不同环境总是会遇到各种各样的问题。本文记录的是在4.19.91内核编译OFED23.10版本的时候，遇到了关于XDP模块接口的问题，只是临时的解决办法。仅供参考。

可以看到是OFED通用的转string方法，用边长数组+宏定义结构化初始化。

通过DMI，系统管理员和用户可以获取有关计算机硬件组件的详细信息，如处理器、内存、硬盘、主板、显卡等的规格、型号、序列号等。dmidecode工具就是利用DMI标准来获取并解码这些信息，以人类可读的格式呈现给用户，方便用户了解计算机硬件的配置情况。各种场景都需要获取服务器的SN（Serial Number），比如问题定位，文件命名，该部分信息在dmi中是标准信息，不同服务器，不同os都能用相同方式获取SN信息。本文记录快速获取SN的方式。

触发机制是：health模块每隔2秒检查一次FW的状态，如果有异常通过print_health_info打印信息。打印的信息内容是硬件寄存器中的信息。本文以一个报错为例子，剖析了网卡的poll health机制，实际是一个2s的timer，到达timer时间检查硬件状态，如果有异常会再触发一个work处理。可以看到是在probe阶段调用到mlx5_load_one流程中的回调function设置专用流程中挂载这个功能，mlx5_start_health_poll启动一个health poll的程序。

本文简要记录Mellanox网卡mtu修改相关一些问题。

在Mellanox BF系列网卡中通过DOCA Flow让数据包处理从CPU上处理卸载到硬件中。它定义了一系列API来支持。并且通过Flow Pipe的方式来进行。Flow Pipe类似OpenFlow table，定义一个范式：以Flow Pipe（FP）为处理单元，每条FP包含多个条目，多条FP可以进行级联处理。在SDN中使用OpenFlow通信协议来进行定义和管理网络转发规则，让交换机能够被几种控制和管理。在交换机中用OpenFlow table来定义如何处理接收到的数据包。

有些场景需要查询网卡支持的最大QP数量。

neohost检测网卡的重要性能指标，经常需要不停的敲，本文提供2种方式自动刷新。

有些时候知道某个网卡的宣称的物理极限速率，但是实际插入到服务器上由于某些设置、物理接口限制（比如x4 x8）或者其他拓扑带来的变化，造成实际生效的速率并非理论值。此时如何得知实际的PCIe上的实际速率？

本文是一个简单的信息记录。记录的是当服务器网卡的光模块插入后内核的日志打印。通过这种日志打印，可以在定位分析问题的时候，知道进行过一次模块插拔。

这种新东西，最好用2台服务器，或者两种卡综合配置，这种解决问题的方法在很多场景都用得上，而且有奇效不断分析尝试，目标明确尽量查看报错的日志信息等。

NDC缺失。伴随启动后，往下插入到背板的4个网口不亮灯，路由器上的灯也没亮，说明物理链路没有电信号。确认时网络单元异常。网口在报错 所以用不了。

从 M2IOSF 的角度来看，入站写入包括两个阶段：所有权和数据回写。在所有权阶段，M2IOSF 使用 ITOM 或 ITOMCacheNear作码向 CHA 发送所有权请求，CHA 通过将目标缓存行的所有权交给 M2IOSF 并相应地更新 snoop 过滤器来做出响应。与非 IO作一样，将缓存行的所有权授予 M2IOSF 需要通过 snoops 通知缓存行的其他所有者，以遵循 MESIF 一致性协议使其副本无效。所有权阶段结束后，M2IOSF 将数据消息 MTOI 发送到同一个 CHA。

In the BlueField, 每个port最多32个VF。port是指物理口。如果2个port，DPU里面就是64个VFIn the host OS, 每个port最多126个PF。如果2个port，总的就是252个。

使用支持cuda的ib_write_bw的时候报错。

服务器上多个网卡，查看ibdev2netdev非常多，lspci也非常多，如何唯一确定实际的网卡数量。本文实操设备只有一张卡仅供参考。

如题。

本文简要记录之前安装cuda的记录，详细记录找不到了，以供参考。已经2个模块需要依赖cuda了，一个是之前提到的nvidia_peermem模块依赖cuda，一个是perftest跑–use_cuda的cuda内存用到。

普通的perftest只能使用主机内存进行rdma，如何让perftest支持使用cuda来跑gpu的rdma?需要在编译阶段支持cuda的版本。本文简要记录编译perftest的过程。

经常需要使用mlxconfig来配置某个静态参数。这些配置的作用mlxconfig提供了一个命令来查看作用。

他这个涉及是合理的，硬件上active了一个最大值mtu，实际指定参数的时候可以软件层修改大小，然后不超过硬件的mtu，就能灵活操作。可以看到最大值是4096，但是active的最大值是1024。并且前面报错3，说明是图中active mtu的index。可设置的最大值是active mtu。active mtu和ifconfig中相同。可以看到ifconfig的mtu修改后，在rdma中只会反应一半，为何？可以在实操图中看到MTU的值是256。

中途遇到多个问题（包括qemu重新编译、更换编译机、更换系统、更换版本、寻找qemu多个版本原因等）一度放弃最后还是解决。这里指定bios和qcow2的磁盘，并且用cortex-a72的cpu和虚拟的机器 指定8个核，2G内存，bios文件使用uefi，指定串口是stdio。下载操作系统的qcow2的格式，qcow2已经安装好了系统，能够直接使用；如果不是aarch64，x86也可以，只是用qemu x86的。身边如果没有ARM相关实际的硬件，但是希望跑操作系统，可以用qemu来操作。

有些情况下查看某个模块被哪些模块依赖可以用lsmod看到后面的列表，但是反向查看就要麻烦一些，比如某个模块依赖哪些其他模块？通过modinfo xxx.ko获取里面的depends相关信息。