基于GPUDirect RDMA的GPU和FPGA通信

        FPGA和GPU作为数据处理加速平台,在某些应用方面能够很好的替代CPU的计算工作。传统的CPU、FPGA和GPU之间的通信如下图所示:

        FPGA和GPU都作为PCIE设备,通过PCIE总线与CPU进行通信。如果FPGA和GPU直接需要有数据的交互,传统的方式就是FPGA通过DMA把数据先传输到主机RAM,然后GPU再通过DMA从主机RAM读取数据。这样一个流程走下来,很明显的缺点是总体吞吐会降低,延迟也会增加。

         GPU和FPGA之间如何直接通信呢?Nvdia驱动提供一个称为GPUDirect RDMA的API接口,通过此接口可以获取GPU memory的总线地址,这样就可以作为FPGA DMA读/写的源/目的地址。不过目前只有NvidIa的Quadro和Tesla这些少数的专业级GPU支持GPUDirect RDMA。

GPUDirect RDMA主要的API接口有:

int nvidia_p2p_get_pages(
    uint64_t p2p_token,
    uint32_t va_space,
    uint64_t virtual_address,
    uint64_t length,
    struct nvidia_p2p_page_table **page_table,
    void (*free_callback)(void * data),
    void *data

参数:

virtual_address : GPU内存buffer虚拟地址

length : GPU内存buffer的长度

nvidia_p2p_page_table : 输出参数,返回映射的物理页的个数及每页的物理地址。(页大小为64KB)

free_callback : 回调函数,在nvidia_p2p_put_pages API函数中调用

int nvidia_p2p_put_pages(
    uint64_t p2p_token,
    uint32_t va_space,
    uint64_t virtual_address,
    struct nvidia_p2p_page_table *page_table
)

此API接口用来释放page_table指针所指向的物理页。

基于Xilinx XDMA驱动做测试时,新创建一个混杂设备,其文件操作集函数主要是ioctl,用来实现上述两个API接口的PINNING GPU MEMORY和UNPINNING GPU MEMORY的功能。具体可参照gdrcopy(https://github.com/NVIDIA/gdrcopy)的实现。

XDMA驱动中DMA缓存区是用Scatter/Gatter链表链接起来的,sgm_get_user_pages函数就是根据用户层传递下来的申请的虚拟内存地址来映射物理页表,并建立一个scatterlist,然后再填写DMA描述符表时用到。但是这里由于先通过nvidia_p2p_get_pages映射了物理页表,并保存在nvidia_p2p_page_table结构体中。所以需要重新实现一个函数来将nvidia_p2p_page_table中映射好的页表信息填入DMA描述符表中。

 

 

  • 5
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
GPUDirect RDMA是一种高效的GPU通信技术。它通过直接内存访问(RDMA)来提高GPU与其他设备(如网络适配器和存储设备)之间的通信效率,减少了数据在主机内存和GPU内存之间的拷贝次数,大大提高了数据传输速度和性能。 GPUDirect RDMA的工作原理如下:首先,GPU和RDMA适配器联合使用PCIe(Peripheral Component Interconnect Express)总线直接进行通信,绕过CPU的参与,减少了数据的传输路径。其次,GPU通过RDMA适配器的引擎控制器,直接将数据从设备(如网络卡或存储设备)传输到GPU内存,或者将数据从GPU内存传输到设备,无需经过主机内存的拷贝。最后,GPU可以直接访问RDMA适配器的内存,进一步提高了数据传输的效率。 相比于传统的GPU通信技术,例如GPU Direct和P2P(Peer-to-Peer)通信GPUDirect RDMA具有以下几个优点:首先,减少了CPU的参与,保证了数据传输的低延迟和高吞吐量。其次,减少了数据在主机内存和GPU内存之间的拷贝次数,减少了数据传输的延迟。再次,GPU直接与RDMA适配器通信,无需通过系统内存,提供了更高的带宽和更低的延迟。最后,GPUDirect RDMA还支持在多个GPU之间进行直接通信,提供了更强大的计算和通信能力。 总之,GPUDirect RDMA是一种高效的GPU通信技术,通过RDMA提供了直接内存访问的能力,减少了CPU的参与和数据在内存之间的拷贝次数,从而提高了数据传输的速度和性能。它为GPU与其他设备之间的通信提供了更高的带宽、更低的延迟和更强大的计算能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值