![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
无损网络
文章平均质量分 80
ROCE、IB、RDMA相关
勉族
这个作者很懒,什么都没留下…
展开
-
RoCEv2网络部署----Mellanox网卡配置
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度,tc7,tc6严格优先级,tc0-5按权重轮询。mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc。mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速。设置队列3 PFC,后面打流测试让RoCEv2流量跑在队列3中,原创 2023-11-01 14:36:47 · 4477 阅读 · 8 评论 -
NVIDIA CX 网卡驱动安装 测试
修改网卡模式为ETH,然后reboot。驱动自带性能测试工具测试网卡性能。选择对应系统版本架构。原创 2023-10-11 12:24:55 · 410 阅读 · 0 评论 -
InfiniBand(IB)网络解决方案
全称是Remote Direct Memory Access,即远程直接内存访问,是一种用于高性能网络通信的技术。RDMA技术可以让计算机直接访问远程计算机的内存,而无需在本地和远程计算机之间进行数据复制。相比传统的网络通信方式,RDMA技术具有更低的延迟、更高的带宽和更低的CPU利用率等优点,可以显著提高网络通信的性能和效率。目前支持RDMA的网络协议主要有:InfiniBand(IB)、ROCE、iWARP。原创 2023-07-24 20:06:01 · 8770 阅读 · 0 评论 -
RoCEv2网络部署实践
另外在VxLAN这样的overlay的网络中,我们必须还要考虑到内外层报文ECN的一致性,例如:Spine链路拥塞时ECN置位也只是在外层报文, 这就要求Leaf到接收端时先要将外层的ECN状态同步到内层报文,然后再剥离外层报文送到接收端侧。最后,很多时候无损网络部署时会将PFC和ECN同时部署,考虑到PFC可能的死锁等问题,一般发生拥塞时会首先触发ECN,使终端主动降速。队列调度:出向时,将不同标记的流量放到不同队列,通常信令类流量绝对优先,ROCEv2和普通流量加权重轮询调度,也就是SP+WRR。原创 2023-03-09 11:06:13 · 2595 阅读 · 1 评论 -
RoCEv2 无损队列缓存
RoCE的技术方案是将以太网通过PFC和ECN的加持后进化成“无损网络”,用来支持在以太网上承载RDMA业务。RDMA流量通过DSCP标记进入到以太网交换机的无损队列转发。无损队列和有损队列的重要区别就是其缓存的划分。缓存空间存在于芯片中,芯片上的所有端口共用该芯片的缓存空间,端口上的所有队列共用该端口的缓存空间。缓存空间可以划分为芯片级、端口级、队列级。队列一般分为有损队列与无损队列。区别是无损队列多了Headroom缓存空间。无损队列的缓存空间芯片级1.Static Buffer静态缓存是在芯原创 2022-06-17 17:20:46 · 2188 阅读 · 0 评论 -
学习总结IB常见操作
IBA COMMUNICATION STACK应用程序发送“Work Request”到“Work Queues”(WQ),每一个WQ包含“Send Work Queue”(SQ)和“Receive Work Queue”(RQ)。“Work Request”以“Work Queue Entry”(WQE)形式存在于SQ/RQ ,用于网卡数据发送,或者接收。WQE主要的作用是描述操作以及目标Memory位置。“Completion Queue”(CQ),网卡完成收发后,向CQ里发送Entry(CQE原创 2022-05-16 18:35:51 · 505 阅读 · 0 评论 -
ROCEv2拥塞管理
RDMARDMA(远程直接数据存取)就是为了解决网络传输中服务器端数据处理的延迟而产生的,无需使用CPU,就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU去执行其应做的工作,比如运行应用程序和处理大量数据。这既提高了带宽又降低了延迟、抖动和 CPU 消耗。RDMA网络目前,大致有三类RDMA网络,分别是Infiniband、RoCE、iWARP。其中,Infiniband是一种专为RDMA设计的网络,从硬件级别保证可靠传输 ,而RoCE 和 iWARP都是基于以太网的RDM原创 2021-10-13 15:51:11 · 4309 阅读 · 0 评论 -
RoCE网络
什么是RDMARDMA(远程直接数据存取)就是为了解决网络传输中服务器端数据处理的延迟而产生的,无需使用CPU,就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU去执行其应做的工作,比如运行应用程序和处理大量数据。这既提高了带宽又降低了延迟、抖动和 CPU 消耗。RDMA与TCP/IP模式示意图。对比传统的网络传输机制,RDMA无需操作系统和TCP/IP协议栈的介入。RDMA的内核旁路机制,允许应用与网卡之间的直接数据读写,将服务器内的数据传输时延降低到1us以下。同时,RD原创 2021-10-19 17:54:34 · 13248 阅读 · 2 评论