【RDMA】qp数量和RDMA性能（节选）|连接数

最新推荐文章于 2024-07-16 15:59:41 发布
最新推荐文章于 2024-07-16 15:59:41 发布
阅读量981 收藏 2
点赞数 1
文章标签： 服务器 网络 java 数据库 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42319496/article/details/125940820
版权
RDMA的性能随着连接数增加而下降，由于RNIC内存限制，超过一定并发连接会导致性能瓶颈。文章提出无状态RNIC(StaR)方案，将连接状态移到客户端，以解决RNIC可扩展性问题。实验表明，StaR能维持高并发下的性能，对比传统RNIC，性能提升显著。
摘要由CSDN通过智能技术生成

目录

 QP数量上升性能下降

 QP数量上升性能下降的原因

 作者：bandaoyu,原始连接：https://blog.csdn.net/bandaoyu/article/details/122947096?spm=1001.2014.3001.5502

 QP数量上升性能下降

​​​​​​https://icnp21.cs.ucr.edu/papers/icnp21camera-paper30.pdf

    在现代云数据中心中，大规模分布式应用通常构建在许多机器上，需要使用大量并发连接进行频繁的网络通信[4]–[6]。但是，RDMA的性能会随着连接数的增加而降低。我们的测试台测量(图1)表明，即使是最新的RNIC(NIC=Network Interface Card ，网络接口卡、网卡，RNIC即 RDMA Network Interface Card)要保持峰值性能最多能支持450个并发连接，(详细设置见§II-B)

从本质上讲，RDMA可扩展性以上的问题是CPU减负的副作用。为了在不涉及主机CPU的情况下完成网络传输和数据DMA，RNIC必须维护一系列与连接相关的状态(DMA相关、网络相关和安全相关)。因此，当并发连接过多时，RNIC有限的板载内存会被耗尽，它必须频繁地通过慢速PCIe总线从主机内存获取连接状态，这会严重影响性能。

即使认识到这个问题，以前基于软件的方案不论是缓解方案(例如，使用大内存页面 [7] 或连接分组 [8])

最低0.47元/天 解锁文章
bdview
关注
【infiniband】RDMA_CM使用多QP
数字人生
11-05 732
要创建多个QP，您可以简单地多次调用`rdma_create_qp`函数，使用相同的`p_ibv_pd`（保护域）但是不同的`rdma_cm_id`和`qp_attr`。要创建多个RDMA（Remote Direct Memory Access）连接，不需要对应多个rdma_event_channel。每个rdma_cm_id代表一个RDMA连接，包含端点地址信息以及一些包含连接状态的其他信息。一个RDMA连接只能有一个QP，如果想建立多个QP，可能需要创建多个RDMA连接。
【RDMA】RDMA抓包|InfiniBand 连接和状态诊断工具|性能测试工具
小鱼菜鸟的博客
04-17 1655
目录 诊断工具--翻译中 RDMA抓包 ibdump tcpdump (docker，Linux内核从4.9以上) Offloaded Traffic Sniffer(tcpdump，ConnectX®-4以上的版本，libpcap库v1.9或更高版本) 诊断工具--翻译中 摘自《Mellanox_OFED_Linux_User_Manu...
【RDMA】qp数量和RDMA性能（节选翻译）|连接数
bandaoyu的note
02-15 3749
https://icnp21.cs.ucr.edu/papers/icnp21camera-paper30.pdf 在现代云数据中心中，大规模分布式应用通常构建在许多机器上，需要使用大量并发连接进行频繁的网络通信[4]–[6]。但是，RDMA的性能会随着连接数的增加而降低。我们的测试台测量（图1）表明，即使是最新的RNIC要保持峰值性能最多能支持450个并发连接，（详细设置见§II-B） 从本质上讲，RDMA可扩展性以上的问题是CPU减负的副作用。为了在不涉及主机CPU的情况下完成网络传输和.
【RDMA】9. RDMA之Queue Pair
bandaoyu的note
01-25 3035
原文：https://zhuanlan.zhihu.com/p/195757767 Queue Pair 我们曾经在3. RDMA基本元素一文中简单的介绍了QP的概念，本文将更深入的讲解一些关于QP的细节。 基本概念回顾 首先我们来简单回顾下关于QP的基础知识： 根据IB协议中的描述，QP是硬件和软件之间的一个虚拟接口。QP是队列结构，按顺序存储着软件给硬件下发的任务（WQE），WQE中包含从哪里取出多长的数据，并且发送给哪个目的地等等信息。 QP的概念 每个QP间都是独立的，彼此通.
9. RDMA之Queue Pair
weixin_39094034的博客
10-30 1268
QPC全称是Queue Pair Context
RDMA qp数量和RDMA性能
大隐隐于野
08-18 484
此外，高并发下的连接状态缓存未命中将导致数据包处理的临时暂停（来自PCIe的等待状态），这反过来需要更大的数据包缓冲区来容纳传入的数据包(从而进一步加重NIC内存的负担),否则，如果没有足够的内存，NIC必须暂停管道并停止接收数据包，影响性能。这在以前RNIC的SRAM比较小的时候会是一个比较重的存储负担，所以以前的RDMA工作会有QP Sharing的研究，就是不同的处理线程去共用QP来减少meta data的存储压力，但是这会带来一定的性能的损失[1]。但是，RDMA的性能会随着连接数的增加而降低。
[RDMA]QP相关介绍（一）——QP Verbs
jj0709的博客
01-03 849
与QP创建、管理和销毁相关的verbs有:Create QPModify QPQuery QPDestroy QP。
【RDMA】infiniband提升Redis性能|UC和RC时延比较|RC和UD性能比较
小鱼菜鸟的博客
07-22 703
目录 infiniband应用到Redis之后的提升效果 WAN上InfiniBand传输服务的实验分析 RC和UD性能比较 UC和RC的区别 (https://www.mellanox.com/related-docs/prod_software/RDMA_Aware_Programming_user_manual.pdf) RDMA 架...
基于RDMA技术的高性能协同系统设计源码
最新发布
10-04
该项目为基于RDMA技术的高性能协同系统设计源码，总计包含345个文件，涵盖54个cmake文件、53个C++源文件、41个头文件、35个文本文件、32个Makefile文件、14个二进制文件、14个C源文件、11个Shell脚本文件、9个...
[RDMA]QP相关介绍（二）——QP State Machine
jj0709的博客
01-05 1778
Modify QPModify QPModify QPModify QP—RQ WR发布，但不处理RQ WR。如果QP接收任何入站请求包，应将其丢弃。—禁止SQ WR发布与处理。—RQ 发布与处理。RQ Logic可以处理入站message。如果是RC或RD QP，将生成远端QP的SQ Logic将接收的请求包的响应。—禁止SQ WR发布与处理。—WR可同时发布到SQ与RQ。—两个队列上的WR都会被处理。SQ Logic可以处理SQ WQE，并生成向远端QP的RQ Logic发送的出站请求包。
11. RDMA之Shared Receive Queue
weixin_39094034的博客
10-31 506
全称为Shared Receive Queue，直译为共享接收队列。
mlx rdma网卡指标参数简介
杰特JET的博客
04-17 4200
mlx rdma网卡指标参数简介综述hw_countercounter参考链接 综述 mlx5 driver在linux sysfs下有一系列的mlx网卡参数和计数器分布在/sys/class/infiniband/mlx5_x/ports/1/counters和/sys/class/infiniband/mlx5_x/ports/1/hw_counters目录下，这些参数统计了某种类型的事件发生的次数，如某种错误数，收包数等等。理解这些参数，可以帮助我们更好的理解mlx网卡的运行状态，通过监控，可以更快
【RDMA】22. RDMA之基于Socket API的QP间建链--未消化
bandaoyu的note
06-11 2198
本文欢迎非商业转载及引用，转载及引用请注明出处。建链，即建立链接（或者连接）。在RDMA技术中，本端和对端的QP之间在建立连接之后才可以通过RDMA协议进行数据交换。我们可以认为建链是正式进行RDMA通信之前所必须进行的准备工作，在建链的过程中，两个节点间会通过某些方式交换一些用于之后的RDMA通信所必须的参数。本文将向大家介绍RDMA建链的目的，并重点讲解基于Socket API的建链方式，包括建链流程、建链交互的内容等等。最后我们将做一个实验，通过基于libibverbs库编写的示例程序、结合抓包巩固本
RDMA-QP状态转换
qq_38158479的博客
10-24 1339
RDMA QP state
RDMA 高性能架构基本原理与设计方案
无
07-16 1377
RDMA的主要优点包括低延迟、高吞吐量、减少CPU负担和支持零拷贝网络。它允许数据直接在网络接口卡（NIC）和内存之间传输，减少了数据传输过程中的中间环节，从而显著降低了延迟。RDMA技术能够实现高速的数据传输，适用于需要大量数据交换的应用场景。由于数据传输不需要CPU的参与，CPU可以更多地专注于计算任务，提高了系统的整体效率。RDMA的软件架构通常包括用户空间库、内核驱动和硬件设备三个主要部分。典型的应用场景包括高性能计算、数据中心网络和存储系统等。
RDMA基本元素（一）
zz2633105的博客
08-02 842
描述RDMA基础元素
RDMA编程
BBlack的博客
04-22 4283
原文：https://blog.csdn.net/weixin_34146986/article/details/86822117 RDMA通过kernel-bypass和协议栈offload两大核心技术，实现了远高于传统TCP/IP的网络通信性能。尽管RDMA的性能要远好于TCP/IP，但目前RDMA的实际落地业务场景却寥寥无几，这其中制约RDMA技术大规模上线应用的主要原因有两点： 主流互联网...
【RDMA】RoCE网络QoS总结|Qos和PFC|应用层设置PFC等级
小鱼菜鸟的博客
04-12 1703
目录 1.什么是QoS 2.为什么RoCE网络需要QoS 3.为了实现每个流有不同的优先级，硬件层如何对流量分类 4. 应用层如何对流量分类 5. 应用层对流量的分类是怎么映射到硬件层上的分类 6.映射完成之后硬件是怎么针对优先级对网络流进行调度的 6.1 严格优先级 6.2 最小带宽保证(Enhanced Transmission S...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值