RDMA的3种Queue Pair类型

最新推荐文章于 2024-01-09 14:00:45 发布
最新推荐文章于 2024-01-09 14:00:45 发布
阅读量1.5k 收藏 2
点赞数
分类专栏： RDMA 文章标签： rdma
原文链接：https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use/
版权
本文详细介绍了RDMA中的三种Queue Pair(QP)类型：可靠的连接(RC)、不可靠的连接(UC)和不可靠的数据报(UD)，包括各自的特点、应用场景及消息传输机制。RC QP提供可靠的消息传递，适合需要网络保障的场景；UC QP适用于不要求网络可靠性的场合，允许数据包丢失；而UD QP则用于高带宽和多播需求，不保证消息顺序或可靠性。
摘要由CSDN通过智能技术生成

本文翻译自英文博客，原文地址：https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use/

 

在编写RDMA应用程序时(就像在套接字上编写应用程序时一样)，应该决定使用哪种QP类型。

在这篇文章中，我将详细描述每种传输类型的特征。

在RDMA中，有三种QP类型。它们可以表示为: XY

     X可以是:

     可靠的(Reliable): 有一个保证，即消息最多被传递一次，有顺序，没有损坏。

     不可靠(Unreliable): 不能保证消息将被传递，也不能保证包的顺序。

     

     在RDMA中，每个包都有一个CRC，被破坏的包被丢弃(对于任何传输类型)。QP传输类型的可靠性是指整个消息的可靠性。

     Y可以是:

     连接(Connected): 一个QP只与一个QP 发生send/receive操作

     无连接(Unconnected):一个QP可与任意个QP发生send/receive操作

在RDMA中使用了以下机制:

* CRC: CRC字段，用于验证包是否沿路径损坏。

* PSN: 数据包序列号确保订单接收到数据包。这有助于检测丢失的包和包复制。

* ack: (仅在可靠的连接(RC)中)只有在应答方成功写入消息后，才会将ack包发送回请求方。如果请求者没有接收到ack，它将根据QP的属性重新发送消息。如果QP中没有任何ack(或nack)，它将报告有一个错误(重试超出)。如果在响应端(保护、资源等)有任何类型的错误，一个ack将被发送到请求者，它将报告有一个错误。

 

Reliable Connected (RC) QP

一个RC QP被可靠地连接到一个RC QP上(即发送和接收消息)。可以保证消息从请求者最多一次传递到响应者，且顺序正确且没有损坏。支持的最大消息大小为2GB(这个值可能更低，取决于支持的RDMA设备属性)。RC QP支持send操作(w/o immediate)、RDMA writ操作(w/o immediate)、RDMA read操作和atomic操作(取决于原子操作中的RDMA设备支持级别)。
如果消息大小大于MTU，则它在发送数据的端被分割，在接收端被重新组装。
请求者一旦接收到来自响应方将消息读/写进内存的ack，就认为消息传递完成了。
接收端在消息被读/写其(本地)内存后，认为一个消息操作完成。

Unreliable Connected (UC) QP

一个UC QP正在以不可靠的方式连接到一个UC QP上(即发送和接收消息)。不能保证消息将被另一方接收:损坏的或序列不一致的包将被丢弃。如果一个信息包被丢弃，那么它所属的整个消息都将被丢弃。在这种情况下，接收端不会停止，而是继续接收传入的数据包。包的顺序没有任何保证。支持的最大消息大小为2GB(这个值可能更低，取决于支持的RDMA设备属性)。RC QP支持send操作(w/o即时)和RDMA write操作(w/o即时)。
如果消息大小大于MTU，则它在发送数据的端被分割，在接收端被重新组装。
请求者认为，在将所有消息发送到链路之后，消息操作就完成了。
接收端在消息被读/写其(本地)内存后，认为一个消息操作完成。

Unreliable Datagram (UD) QP

一个QP可以不可靠地以单播(一对一)或多播(一对多)的方式向任何其他UD QP发送和接收消息。不能保证消息将被另一方接收:损坏的或顺序不一致的包将被丢弃。包的顺序没有任何保证。支持的最大消息大小是最大MTU。UD QP只支持send操作。
请求者认为，在将所有消息发送到链路之后，消息操作就完成了。
接收端在消息被读/写其(本地)内存后，认为一个消息操作完成。

 

选择合适的QP类型

选择正确的QP类型对于应用的正确性(correction)和可拓展性(scalability)至关重要。

在下列情况下，应选择RC QP:
           网络的可靠性是需要的
           网络带宽不高或集群很大，但并非所有节点都向同一节点发送流量(一个受害者)
RC QP的几种用途是:RDMA上的FTP或RDMA上的文件系统。

在下列情况下，应选择UC QP:
                不需要网络保证可靠性(例如，可靠性根本不重要，或者由应用程序处理)
                网络带宽不高或集群很大，但并非所有节点都向同一节点发送流量(一个受害者)
                大规模数据(比MTU路径更大)需要传输
UC QP的一个用途是:通过RDMA传输视频。

在下列情况下，应选择UD QP:
                不需要网络保证可靠性(例如，可靠性根本不重要，或者由应用程序处理)
                网络带宽很高，所有节点和每个节点都向网络中的任何其他节点发送消息。UD是解决可拓展性问题的最佳解决方案之一。
                 需要多播消息
UD QP的一个用途是:通过RDMA语音。

总结

 

U2014684
关注
专栏目录
c++的队列基本操作(queue pair类型) c++栈的操作
Findprincess的博客
02-14 3357
题目请见:全球变暖 queue<Type> q; //定义队列，Type为数据类型，如int，float，char等 q. push(item); //把item放进队列 q.front();　　 //返回队首元素，但不会删除 q.pop(); //删除队首元素 q.back(); //返回队尾元素 q.size();　　　　 //返回元素个数 q.empty();　　 //检查队列是否为空 pair类型：
【RDMA】9. RDMA之Queue Pair
小鱼菜鸟的博客
01-25 345
原文：https://zhuanlan.zhihu.com/p/195757767 Queue Pair 我们曾经在3. RDMA基本元素一文中简单的介绍了QP的概念，本文将更深入的讲解一些关于QP的细节。 基本概念回顾 首先我们来简单回顾下关于QP的基础知识： 根据IB协议中的描述，QP是硬件和软件之间的一个虚拟接口。QP是队列结构，按顺序存...
RDMA编程实例源码（rdma_cm API）
05-12
RDMA编程实例源码（rdma_cm API）
9. RDMA之Queue Pair
weixin_39094034的博客
10-30 1212
QPC全称是Queue Pair Context
Queue Pair
runshui27的博客
02-06 333
根据IB协议中的描述，QP是硬件和软件之间的一个虚拟接口。QP是队列结构，按顺序存储着软件给硬件下发的任务（WQE），WQE中包含从哪里取出多长的数据，并且发送给哪个目的地等等信息。 https://zhuanlan.zhihu.com/p/195757767 ...
queue pair
hitwlh的专栏
02-06 1505
#include #include #include #include using namespace std; int main () {     queue< pairint, int> > myq;     myq.push( make_pair(10,20));     pairint , int> myp =  myq.front();
STL总结：（queue队列）（pair）（set集合）（stack栈）（priority_queue优先队列）
006 菜是原罪 的博客
03-03 3079
queue队列 （1）特点： 只能访问容器的第一个和最后一个元素 只能在容器的末尾添加新的元素 只能从头部移出元素 先进先出（FIFO，First in first out） (2)定义： queue&amp;amp;lt;数据类型&amp;amp;gt;名称； queue&amp;amp;lt;int&amp;amp;gt;q1; queue&amp;amp;lt;char&amp;amp;gt;q2; (3)函数 back()返回
如何选择QP类型-RDMAmojo
MarsYYP的博客
05-14 792
如何选择QP类型-RDMAmojo 本文是对RDMAmojo文章的翻译，由于网站长久未更新，也作保留用 英文原文 文章目录如何选择QP类型-RDMAmojoRliable Connected(RC) QP 可靠连接Unreliable Connected(UC) QP 不可靠连接Unreliable Datagram(UD) QP 不可靠数据报选择正确的QP类型总结 当编写一个一个新的RDMA应用的时候（就如同编写新的Socket的应用一样），开发者应当确定应该选择哪一种QP用于开发。 在这一章，我会详细分
【RDMA】11. RDMA之Shared Receive Queue
小鱼菜鸟的博客
01-25 432
我们曾在【3. 基本元素】中简单介绍了SRQ的概念，本文将带大家了解更多关于SRQ的细节。 基本概念 什么是SRQ 全称为Shared Receive Queue，直译为共享接收队列。我们知道，RDMA通信的基本单位是QP，每个QP都由一个发送队列SQ和接收队列RQ组成。 SRQ是IB协议为了给接收端节省资源而设计的。不同于每个QP都拥有一个独立...
RDMA原理分析、对比和技术实现解析.rar
06-03
第1章 RDMA背景简介 ............................................. 5 第2章 哪些网络协议支持RDMA ..................................... 8 2.1 InfiniBand(IB)........................................... 8 2.2 RDMA过融合以太网(RoCE)................................... 8 2.3 互联网广域RDMA协议(iWARP)................................ 8 第3章 RDMA技术优势 ............................................. 9 第4章 RDMA有哪些不同实现 ...................................... 10 第5章 RDMA有哪些标准组织 ...................................... 14 第6章 应用和RNIC传输接口层 .................................... 18 6.1 内存Verbs（Memory Verbs）............................... 19 6.2 消息Verbs（Messaging Verbs）............................ 20 第7章 RDMA传输分类方式 ........................................ 20 7.1 RDMA原语................................................ 21 7.2 RDMA 队列对（QP）....................................... 23 7.3 RDMA完成事件............................................ 23 7.4 RDMA传输类型............................................ 24 7.5 RDMA双边操作解析........................................ 26 7.6 RDMA单边操作解析........................................ 27 7.7 RDMA技术简单总结........................................ 27 第8章 InfiniBand技术和协议架构分析 ............................ 29 8.1 InfiniBand技术的发展.................................... 29 8.2 InfiniBand技术的优势.................................... 30 8.3 InfiniBand基本概念...................................... 32 8.4 InfiniBand协议简介...................................... 33 8.4.1 物理层 ............................................ 34 8.4.2 链路层 ............................................ 34 8.4.3 网络层 ............................................ 34 8.4.4 传输层 ............................................ 35 8.4.5 上层协议 .......................................... 35 8.5 IB应用场景.............................................. 36 第9章 InfiniBand主流厂商和产品分析 ............................ 37 9.1 InfiniBand网络和拓扑.................................... 38 9.2 软件协议栈OFED.......................................... 42 9.3 InfiniBand网络管理...................................... 43 9.4 并行计算集群能力........................................ 44 9.5 基于socket网络应用能力.................................. 45 9.6 存储支持能力............................................ 45 9.7 Mellanox产品介绍........................................ 46 9.8 Infiniband交换机........................................ 48 9.9 InfiniBand适配器........................................ 51 9.10 Infiniband路由器和网关设备............................. 52 9.11 Infiniband线缆和收发器................................. 53 9.12 InfiniBand主要构件总结................................. 54 9.13 InfiniBand对现有应用的支持和ULPs支持................... 55 第10章 RDMA over TCP(iWARP)协议和工作原理 ..................... 56 10.1 RDMA相关简介........................................... 57 10.2 RDMA工作原理........................................... 59 10.3 RDMA 操作类型.......................................... 61 10.4 RDMA over TCP详解...................................... 61 10.5 RDMA标准组织............................................ 7 第11章 RoCE（RDMA over Converged Ethernet）原理 ............... 65 第12章 不同RDMA技术的比较 ..................................... 67 12.1 IB和TCP、Ethernet比较.................................. 69 12.2 RoCE和InfiniBand比较................................... 70 12.3 RoCE和IB协议的技术区别................................. 71 12.4 RoCE和iWARP的区别...................................... 71 第13章 Intel Omni-Path和InfiniBand对比分析 .................... 72 13.1 Intel True Scale Fabric介绍............................ 73 13.2 Intel True Scale InfiniBand产品........................ 74 13.3 Intel Omni-Path产品.................................... 76 第14章 RDMA关键技术延伸 ....................................... 80 14.1 RDMA指令的选择......................................... 80 14.2 慎用atomic类指令....................................... 81 14.3 减少交互次数........................................... 82 14.3.1 Wr 聚合 .......................................... 82 14.3.2 SGE 聚合 ......................................... 82 14.3.3 使用imm数据 ...................................... 83 14.3.4 使用inline数据 ................................... 83 14.3.5 CQE中使用inline数据 .............................. 83 14.3.6 WC聚合 ........................................... 84 14.4 运行模式选择........................................... 84 14.4.1 连接的模式 ....................................... 84 14.4.2 运行模式 ......................................... 85 14.5 性能与并发............................................. 86 14.6 避免CPU缓存抖动........................................ 87 14.7 避免芯片内部的缓存Miss................................. 87 14.8 时延的隐藏............................................. 88 14.8.1 利用Prefetch预取指令 ............................. 88 14.8.2 异步交互操作优先 ................................. 88 14.9 RDMA性能分析........................................... 89
全网最全面的RDMA拥塞控制教程
10-30
RDMA使用队列对（Queue Pair, QP）和完成队列（Completion Queue, CQ）来管理传输。每个应用程序可以有多个QP和CQ，每个QP由发送队列（Send Queue, SQ）和接收队列（Receive Queue, RQ）组成，CQ则用于通知应用程序...
rdma报文抓包RoCE、RRoCE
06-21
5. **解析RDMA报文**：Wireshark提供了对RoCE和RRoCE协议的支持，因此它可以解析出RDMA报文的各个字段，包括操作类型、源/目标QPN（Queue Pair Number）、PSN（Packet Sequence Number）等关键信息。 6. **分析报文...
从零学习 InfiniBand-network架构（三） —— IB核心传输引擎Queue Pair
sz_woshishazi的博客
10-13 4320
本章将介绍IBA技术中最核心的信息传输引擎，队列的概念（QP，Queue Pair）、请求报文、响应报文、报文序列号（PSN），简单介绍QP服务类型和verb layer API，最后将描述一个详细的信息传输示例。
【RDMA】RDMA完成队列 Completion Queue
大隐隐于野
01-09 355
上面的描述其实还包含了“同一个QP的SQ和RQ中的WQE，其对应的CQE间是不保序的”的情况，这一点其实比较容易理解，SQ和RQ，一个负责主动发起的任务，一个负责被动接收的任务，它们本来就可以是认为是两条不同方向的通道，自然不应该相互影响。另外需要注意的是，即使在多个WQ共用一个CQ的情况下，“同一个WR中的WQE，其对应的CQE间是保序的”这一点也是一定能够保证的，即上图中的属于WQ1的WQE 1、3、4对应的CQE一定是按照顺序产生的，对于属于WQ2的WQE 2、5、6也是如此。
11. RDMA之Shared Receive Queue
weixin_39094034的博客
10-31 481
全称为Shared Receive Queue，直译为共享接收队列。
（Caffe）基本类DataReader、QueuePair、Body（四）
沤江一流的专栏
04-07 3667
本文地址： 1 简介QueuePair与Body是DataReader的内部类。一个DataReader对应一个任务，一个Body生成一个线程来读取数据库（如examples/mnist/mnist_train_lmdb）。QueuePair为前面两者之间的衔接、通信。2 源代码/** * @brief Reads data from a source to queues available to
关于队列中使用pair的总结
qq_74910785的博客
01-02 2678
今天在学到广度优先搜索时，学长给我们提到大部分广度优先搜索都会用到队列（queue），而在使用queue时有两种方法来给队列赋多个值，一个是自写结构体，另一个就是使用pair。 pair是将2个数据组合成一个数据，当需要这样的需求时就可以使用pair。就像STL中的map就是将key和value放在一起来保存。同样的，当一个函数需要返回2个数据的时候，可以选择pair。pair会将两个数据分别转换为first和second储存到pair定义的变量中。 拿广度优先搜索来举例，可以使用queue<pa
基于SpringBoot仿天猫购物系统.zip(毕设&课设&实训&大作业&竞赛&项目)
最新发布
09-20
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（如有）等。答辩评审平均分达到96分，放心下载使用！可轻松复现，设计报告也可借鉴此项目，该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 【提供帮助】：有任何使用问题欢迎随时与我联系，我会及时解答解惑，提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【项目价值】：可用在相关项目设计中，皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面，可借鉴此优质项目实现复刻，设计报告也可借鉴此项目，也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件（如有），项目工程可直接复现复刻，如果基础还行，也可在此程序基础上进行修改，以实现其它功能。供开源学习/技术交流/学习参考，勿用于商业用途。质量优质，放心下载使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值