【RDMA】RDMA抓包|InfiniBand 连接和状态诊断工具|性能测试工具

本文介绍了用于RDMA连接和状态诊断的工具,包括ibdump、tcpdump(适用于Linux内核4.9及以上版本)以及Offloaded Traffic Sniffer(针对ConnectX-4及以上版本的网卡)。详细讲解了如何使用这些工具进行RDMA流量捕获,特别是在Docker环境中使用tcpdump的技巧,并提到了启用Offloaded Traffic Sniffer可能对数据传输速度的影响。
摘要由CSDN通过智能技术生成

目录

诊断工具--翻译中

RDMA抓包

ibdump

tcpdump (docker,Linux内核从4.9以上)

Offloaded Traffic Sniffer(tcpdump,ConnectX®-4以上的版本,libpcap库v1.9或更高版本)


诊断工具--翻译中

摘自《Mellanox_OFED_Linux_User_Manual_v4_1》

本章介绍的诊断工具提供了fabric中IB设备的连接和状态调试方法。

工具 描述
ibdump

测试流入和流出Mellanox Technologies ConnectX系列适配器InfiniBand端口的InfiniBand通信。

请注意以下几点:

  • 虚拟功能(SR-IOV)不支持ibdump。
  • 所有HCA均支持Infiniband流量嗅探。
  • 仅在Connect-X3和Connect-X3 Pro卡上支持以太网和RoCE嗅探。

dump出来的文件,可以通过Wireshark工具加载进行图形流量分析。

以下描述了本地HCA(适配器)嗅探的工作流程:

  • 1.运行ibdump 并给定运行选项
  • 2.运行进行IB通信的应用程序
  • 3.停止ibdump(CTRL-C)或等待数据缓冲区填充(在--mem-mode中)
  • 4.打开Wireshark并加载生成的文件。要下载适用于Linux或Windows环境的Wireshark,请访问www.wireshark.org。

注意:尽管ibdump是Linux应用程序,但是可以在任一操作系统上分析生成的.pcap文件。 [mlx4]为了使ibdump与RoCE一起使用,必须启用Flow Steering。

启用步骤:

1.将以下内容添加到/etc/modprobe.d/mlnx.conf文件:options mlx4_core log_num_mgm_entry_size = -1

2.重新启动驱动程序。

注意:如果将HCA的端口中有一个配置为InfiniBand,则ibdump要求IPoIB DMFS是使能的。有关更多信息,请参阅第3.1.12.1节,启用/禁用流向,第103页。有关更多信息,请参阅工具的手册页。

dump_fts

为子网的ibnetdiscover扫描中发现的每个交换机转储表。dump文件格式与使用-R file -U /path/to/dump-file语法加载到OpenSM兼容。

Dumps tables for every switch found in an ibnetdiscover scan of the subnet. The dump file format is compatible with loading into OpenSM using the -R file -U /path/to/dump-file syntax.
For further information, please refer to the tool’s man page.

ibaddr

默认情况下,可以用来显示指定端口或本地端口的LID和GID地址。这个实用程序可以用作简单的地址解析器。
要了解更多信息,请参考该工具的手册页。

Can be used to show the LID and GID addresses of the specified port or the local port by default. This utility can be used as simple address resolver.
For further information, please refer to the tool’s man page.

ib_send_bw

测试两台机器之间的SEND带宽

一个充当服务器,另一个充当客户端。服务器从客户端接收数据包,它们都计算操作的吞吐量。该测试支持双向功能(双向功能可同时发送和接收),mtu大小的更改,tx大小࿰

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值