【RDMA】技术详解（四）：RDMA之Verbs和编程步骤

最新推荐文章于 2025-09-16 15:18:08 发布

原创

最新推荐文章于 2025-09-16 15:18:08 发布 · 1.7k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#java #开发语言

本文详细介绍了RDMA编程中的Verbs API，包括Verbs的定义、设计原因及其在RDMA编程中的重要性。内容涵盖了如何使用Verbs API创建和管理Queue Pair（QP）、注册Memory Region（MR）、创建Completion Queue（CQ）以及处理中断和错误。此外，还讨论了RDMA编程流程，包括建链、数据传输和错误处理。最后，提供了参考文献和官方示例程序供读者深入学习。

RDMA编程基础

什么是Verbs

RDMA编程基础

存储大师班 | RDMA简介与编程基础 - 知乎

RDMA 和传统网卡编程的区别：NVMe over Fabrics又让RDMA技术火了一把 - rodenpark - 博客园

什么是Verbs

Verbs直译过来是“动词”的意思，它在RDMA领域中有两种含义：

1) 由IB规范所描述的一组抽象定义

规定了各厂商的软硬件在各种Verbs下应该执行的动作或者表现出的行为，IB规范并未规定如何编程实现这些Verbs，在这种含义下，Verbs是与操作系统无关的。

举个例子，IB规范要求所有RDMA设备必须支持Create QP的行为(IB 规范11.2.5.1)：

描述：
为指定的设备创建一个QP。
用户必须指定一组用于初始化QP的属性。
如果创建QP所需的属性有非法值或者缺失，那么应该返回错误，该QP不会被创建；如果成功，那么返回该QP的指针和QPN。
……
输入：
设备指针；
SQ关联到的CQ；
RQ关联到的CQ，如果是XRC的INI QP，则可以不携带此参数；
……
输出：
新创建的QP的指针；
QP Number;
SQ的最大WR容量。
……

可以看出IB规范中的Verbs是对一个概念进行定义，讲的是“需要支持什么，但具体怎么实现我不做规定”。

2) 由OpenFabrics推动实现的一组RDMA应用编程接口(API)

既然是API，那么必然和运行的操作系统相关。Verbs API有Linux版本以及Windows版本(Windows版很久没有更新了)。

以Create QP为例，下文引用自Linux用户态Verbs API的帮助文档(ibv_create_qp(3): create/destroy queue pair)：

名称：
ibv_create_qp - create a queue pair (QP)
概要：
#include <infiniband/verbs.h> struct ibv_qp ibv_create_qp(struct ibv_pd pd, struct ibv_qp_init_attr *qp_init_attr);

描述：
ibv_create_qp()通过一个关联的PD创建一个QP，参数qp_init_attr是一个ibv_qp_init_attr类型的结构体，其定义在<infiniband/verbs.h>中。

struct ibv_qp_init_attr {

struct ibv_cq *send_cq; /* CQ to be associated with the Send Queue (SQ) */
struct ibv_cq *recv_cq; /* CQ to be associated with the Receive Queue (RQ) */
struct ibv_srq *srq; /* SRQ handle if QP is to be associated with an SRQ, otherwise NULL */
struct ibv_qp_cap cap; /* QP capabilities */
enum ibv_qp_type qp_type; /* QP Transport Service Type: IBV_QPT_RC, IBV_QPT_UC, or IBV_QPT_UD */
...

};

函数ibv_create_qp()会更新qp_init_attr->cap struct的内容，返回创建的QP所真正支持的规格……
返回值：
ibv_create_qp()返回被创建的QP的指针，或者在失败时返回NULL。QPN将在返回的指针所指向的结构体中。

可见Verbs API即是对IB规范中的Verbs定义的具体软件实现。

Verbs的第一种语义直接查阅IB规范的第11章即可，里面做了非常详细的描述。

本文介绍的是第二种语义，包含Verbs API是什么，如何和硬件产生交互，我们如何通过Verbs API来编写RDMA程序。如无特殊说明，下文中的Verbs均特指Verbs API。