【RDMA】13. RDMA之用户态与内核态交互

最新推荐文章于 2024-05-28 22:45:19 发布

bdview

最新推荐文章于 2024-05-28 22:45:19 发布

阅读量320

点赞数

文章标签：内核编程语言 python linux java

本文链接：https://blog.csdn.net/weixin_42319496/article/details/119371295

版权

本文介绍了RDMA技术中用户态和内核态的交互，指出并非所有用户态Verbs API都能完全绕开内核。控制路径上的操作如创建QP、注册MR等需要陷入内核态，而数据路径上的如Post Send则不需要。用户态通过libibverbs与内核通过ABI交互，保证不同版本的兼容性。文章以ibv_open_device(), ibv_reg_mr(), ibv_create_qp()为例，详细阐述了涉及内核态交互的过程。" 107445929,9620654,MySQL用户与权限管理详解,"['数据库管理', 'SQL', 'MySQL权限']

摘要由CSDN通过智能技术生成

原文：https://zhuanlan.zhihu.com/p/346708569

在“RDMA之Verbs”一文中我们说道，Verbs API分为用户态和内核态，分别以ibv_和ib_作为前缀。RDMA技术的最大的优势就在于用户态可以绕过内核，直接控制硬件收发数据，减少了系统调用和内存拷贝次数，所以大部分的RDMA应用都是用户态应用，即使用以ibv_为前缀的用户态Verbs API。

但是并非所有的用户态Verbs API都可以完全绕开内核，本文中我来讲解一下哪些API依赖于内核RDMA子系统(包括驱动)，为什么需要依赖内核，以及用户态和内核是如何交互的。

Verbs的分类

IB规范11.1.2.3节中将Verbs的用户分成两种：

一种是能够直接访问OS内部数据和控制RDMA硬件的特权用户，他们能使用所有Verbs；

一种是必须依赖代理来访问OS数据结构的用户层用户，他们只能使用一小部分的Verbs。

翻译成直白点的话，就是内核态的Verbs用户由于拥有最高权限，所以直接访问所有RDMA资源；而用户态的Verbs用户，只能使用部分接口直接与硬件交互，而大部分Verbs API需要通过系统调用等方式进入内核态来完成。

IB规范中的Table 95列出了所有Verbs的实现必要性和需要的用户权限。

实现必要性上，Mandatory表示软件必须支持，其他表示软件可以选择性的支持；

用户权限上，Privileged表示需要特殊权限，User-Level表示仅需要普通权限。

通过观察表格我们可以发现，除了下发WR(Post Send和Post Recv)和获取WC(Poll CQ和Request Completion Notification)这种用于数据交互的接口，以及Bind MW和AH的相关操作，其他所有操作都需要特权，即调用对应的Verbs API都需要陷入内核态。