微知-RDMA中的四大M,以及Mellanox驱动中的MAD为什么叫MA的D?(managent agent、Management Datagrams)

背景

RDMA中建链除了有TCP方式,还有有CM建链。CM建链是指用带内通信进行建链。带内就是指通过RDMA链路进行建链。这里的CM是communication Management。这里的CM看似是一个简单的communication的Management,实际是RDMA中四大M的一种M。

4大M

Infiniband定义了一系列的Manager,每种Manager负责IBA设备某些方面的操作。主要包括有:

  • SM: subnet Manager 就是子网管理,包括LID GID LRH GRH等
  • PM:performance Manager 性能管理
  • DM:Device Manager
  • CM:Communication Manager

关于MA

在IB设备上,针对每种manager有对应的agnet,叫做MA(managent agent),是用来处理来自于manager的属性访问请求的。比如

  • SMA:是SM的agnet,用来handle来自于sm的requests
  • PMA:同理
  • DMA:同理

关于MAD

当一个在设备上的MA收到来自于对应Manager的request后,首先在对应的属性上处理,然后恢复处理结果。处理结果通过响应packet来反馈。
而这个Packet每个manager用不同的packet,这些packet就叫做MAD, 也就是Management Datagrams。

其他:关于这里为何叫做Datagrams,目前估测类似UDP,它不需要回复每个pkt,而是业务层自己采用responce的方式,也就是MAD。所以MAD的本质是D,是属于Ma的D

综述

至此,可以从CM迁出了在IB网络中的多种Manager,以及Manager和Manager Agent这种机制,以及所采用的MAD这种报文方式交互。

要通过Mellanox OFED在Linux中实现RDMA通信,并以GPUDirect作为实例来解释工作原理,首先需要了解Mellanox OFED提供的核心组件,包括支持RDMA技术的驱动程序和库。GPUDirect是其中一项技术,它允许GPU直接与其他设备进行数据交换,而无需通过CPU。这一技术对于加速高性能计算和大数据应用至关重要。 参考资源链接:[Mellanox OFED Linux 用户手册 v4.1:RDMA 技术详解](https://wenku.csdn.net/doc/64717b05d12cbe7ec3ffde7b?spm=1055.2569.3001.10343) 在Linux中安装Mellanox OFED后,需要配置和确保系统支持RDMA。例如,使用RDMA工具如ibstat和ibv_devinfo来检查RDMA硬件状态。接下来,进行必要的配置,如设置网络接口和加载RDMA相关的内核模块。在此基础上,可以利用GPUDirect实现GPU与远程内存之间的高效通信。 GPUDirect工作原理的核心在于,它能够让GPU直接通过RDMA访问远程设备的内存。对于GPUDirect的使用,需要在应用程序中调用支持GPUDirect的库函数,如CUDA编程模型中的相关API。在GPUDirect RDMA的场景下,Mellanox的ConnectX系列网卡驱动将会被利用起来,通过这些驱动提供的硬件加速和直接数据传输能力,减少延迟和提高带宽。 实现GPUDirect RDMA通信的过程中,需要在系统层面确保所有相关组件都已经过正确配置和优化。例如,确保GPU和RDMA网络硬件兼容,并且在应用程序中使用正确的方法来初始化和使用GPUDirect RDMA功能。通过这些步骤,GPUDirect能够实现GPU与InfiniBand网络接口卡之间的零拷贝通信,从而显著提升数据处理速度和系统的整体性能。 对于想要更深入理解这一过程的用户,推荐《Mellanox OFED Linux 用户手册 v4.1:RDMA 技术详解》作为参考资料。这本手册将为你提供Mellanox OFED的安装和配置指南,同时也详细介绍了GPUDirect技术的实现和应用,帮助你掌握在Linux系统中进行高性能RDMA通信的全过程。 参考资源链接:[Mellanox OFED Linux 用户手册 v4.1:RDMA 技术详解](https://wenku.csdn.net/doc/64717b05d12cbe7ec3ffde7b?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值