RDMA
关注
分享
扫一扫
文章平均质量分 53
RDMA技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。
Master.TJ
https://github.com/fengruotj
展开
-
一周一论文（翻译）——[SIGMOD 2015] TIMELY RTT-based Congestion Control for the Datacenter
本文主要解决的问题是在，基于优先级的拥塞控制PFC是一种粗粒度的机制，它主要是通过检测优先级队列的长度是否超过阈值，然后再发送PFC拥塞信号帧来进行流量控制。这种做法会带来不公平性以及行头阻塞等问题。作者表明，单的数据包延迟（以主机的往返时间来衡量）是一种有效的拥塞信号。因此作者通过对延迟梯度或排队随时间变化的微分做出反应，以在提供高带宽的同时保持较低的数据包延迟。Abstract...原创 2020-03-04 17:23:15 · 4073 阅读 · 3 评论 -
一周一论文（翻译）——[SIGMOD 2015] Congestion Control for Large-Scale RDMA
本文主要解决的问题是在RoCEv2体系中，基于优先级的拥塞控制PFC是一种粗粒度的机制。 它在端口（或端口加优先级）级别上运行，并且不区分流。PAUSE机制是基于每个端口（和优先级）的，而不是基于每个流的。 这将导致Unfairness和Victim flow等问题。为了解决这个问题，作者提出了DCQCN机制，DCQCN提供快速收敛以达到公平性，实现高链路利用率，确保低队列建立和低队列振荡。并且为...原创 2020-03-03 20:46:47 · 3332 阅读 · 1 评论 -
一周一论文（翻译）——[SIGMOD 2016] RDMA over Commodity Ethernet at Scale
本文主要解决的问题是在RoCEv2体系中，基于VLAN的PFC的拥塞控制是逐跳工作的，源和目的服务器之间可能有多跳，如果有持续的网络拥塞，PFC暂停帧会从阻塞点传播并返回到源，这就会导致诸如unfairness和victim flow的问题。因此作者提出了基于DSCP的优先级流量控制机制PFC，替换掉PCP和VID来确保大规模部署。Abstract 在过去一年半的时间，我...原创 2020-03-03 18:02:17 · 2964 阅读 · 0 评论 -
一周一论文（翻译 总结）—— [SOSP 18] LITE Kernel RDMA Support for Datacenter Applications : 一个LITE 内核支持的RDMA通信库
目录Abstract1. Introduction2. BACKGROUND AND ISSUES OF RDMA2.1 Background on RDMA2.2 RDMA in DataCenter Applications2.3 Issue 1: Mismatch in Abstractions2.4 Issue 2: Unscalable Performance...原创 2018-11-14 19:24:07 · 1968 阅读 · 0 评论 -
一周一论文（翻译 总结）—— [DSN 18] RDMC A Reliable RDMA Multicast for Large Objects :一个面向大型对象的可靠的RDMA广播框架
目录Abstract1.Introduction2. Background On RDMA3. High level RDMC summary4. System Design4.1 External API4.2 Architectural Details4.3 Protocol4.6 Insights from Using RDMA5. Experi...原创 2018-11-14 11:57:21 · 1823 阅读 · 1 评论 -
[OSDI 16] Wukong : 基于RDMA的高并发、快速的分布式RDF Graph Query系统
今天要讲的文章是OSDI 2016年的一篇文章，Fast and Concurrent RDF Queries with RDMA-based Distributed Graph Exploration。RDF全称是资源描述框架，RDF将现实生活中的关系描述成实体与实体之间的关系。这种实体与实体之间的关系可以用图来描述。实体可以用顶点来描述，实体与实体之间的关系可以用边来描述。RD...原创 2018-06-12 19:52:14 · 2142 阅读 · 0 评论 -
深入浅出全面解析RDMA
RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的内存中，将数据从一个系统快速移动到远程系统内存中，而不对操...原创 2018-06-04 11:36:54 · 79426 阅读 · 14 评论 -
[SOSP 17] Wukong+S : 不断演化的RDF数据的亚毫秒级别的状态流查询
今天要讲的文章是SOSP 2017年的一篇文章，Wukong+S ：Sub-millisecond Stateful Stream Querying over Fast-evolving Linked Data。本文主要解决的问题是：随着流数据和存储数据量的不断增加，及时查询有用的信息十分重要。对于公共数据集合数据流，可能有大量的用户不同的数据流查询请求，因此需要支持高并发的查询。...原创 2018-06-12 21:30:11 · 1298 阅读 · 0 评论 -
基于Java的RDMA高性能通信库（二）：Java Socket Over RDMA
目录1.Comparing JSOR with Java TCP communications2.Comparing JSOR to Java Sockets Direct Protocol (SDP) communications3.JSOR features and design3.1 JSOR Desgin3.2 JSOR Zero copy function4...原创 2018-07-19 16:12:16 · 2919 阅读 · 0 评论 -
基于Java的RDMA高性能通信库（一）：IBM jVerbs库
jVerbs 库包含支持开发使用高性能联网基础架构（如 InfiniBand、iWARP 或 RoCE）的 Java™ 应用程序的 verbs API 和 endpoint API。verbs 接口是 sockets 接口的替代联网 API。verbs 接口提供发送和接收通信，而 endpoint 接口是简化的 API，用于提供 jVerbs 端点的抽象。jVerbs 作为基于 Open...原创 2018-07-19 17:17:38 · 1681 阅读 · 0 评论 -
基于Java的RDMA高性能通信库（三）：Direct Storage and Networking Interface (DiSNI)
The Direct Storage and Networking Interface (DiSNI) 是一个Java框架和API专门为了在用户空间进行存储和网络访问的(IBM的jVerbs的新开源代替)。DiSNI为RDMA编程提供了两个API，即low-level verbs API和更高级别的endpoint API。 这些API使您能够为InfiniBand，iWARP或RoCE等高性能网...原创 2018-07-19 20:06:56 · 1377 阅读 · 1 评论 -
基于Java的RDMA高性能通信库（四）：DaRPC
DaRPC是一个用于Java的RPC框架和API，它使用RDMA在用户空间中实现RPC消息处理和网络处理之间的紧密集成。自80年代初以来，远程过程调用（RPC）一直是分布式系统的基石。 最近，在数据中心中运行的新类型的大规模分布式系统在扩展和延迟方面对RPC系统构成了额外的挑战。DaRPC是一个用于Java的RPC框架和API，它使用RDMA在用户空间中实现RPC消息处理和网络处理之间的紧密集...原创 2018-07-19 20:18:20 · 1217 阅读 · 0 评论 -
[RDMA] 高性能异步的可靠消息传递和RPC ：Accelio
目录 1. Introduce2. Accelio 设计目标3. Accelio Key Features4. Who can take advantage of it?5. Accelio 的结构示意图6. Accelio Integration With Other Applications/Projects7. 一个会话/连接建立流程8. 高级别传输流程 ...原创 2018-07-19 22:09:25 · 2549 阅读 · 0 评论 -
基于Java的RDMA高性能通信库（五）：JXIO
JXIO 是 Mellanox 公司的RDMA中间件accelio在Java上的包装，JXIO使用类似于Java nio的ServerChannel方式，熟悉接口可以做好变换。AcceliO是针对硬件加速而优化的高性能异步可靠消息传递和RPC库。 实现RDMA和TCP / IP传输，并且其他传输（例如共享存储器）可以利用高效且方便的API。libxio（又名库accelio）是一个位于RDMA...原创 2018-07-20 16:17:57 · 1285 阅读 · 0 评论 -
基于Java的RDMA高性能通信库（六）：SDP - Java Socket Direct Protocol
本文是Ben D. Cotton的一篇Java 7 Sockets Direct Protocol – Write Once, Run Everywhere …. and Run (Some Places) Blazingly的翻译。英文原文https://www.infoq.com/articles/Java-7-Sockets-Direct-Protocol。经过我深入调研Java SDP：J...原创 2018-07-21 14:40:18 · 2733 阅读 · 1 评论 -
一周一论文（翻译 总结）— [SOCC 13] jVerbs Ultra-Low Latency for Data Center Applications 在JVM虚拟机上构建RDMA的verbs操作
目录Abstract1. Introduction2. Motivation3. Background4. Challenges5.Desgin of jVerbs5.1 Full RDMA Semantics5.2 Memory-mapped Hardware Access5.3 Stateful Verb Calls6. Implemention6....翻译 2018-07-23 11:01:44 · 1423 阅读 · 1 评论 -
一周一论文（翻译 总结）— [SOCC 14] DaRPC: Data Center RPC 基于RDMA的高性能通信RPC
Abstract 自80年代初以来，远程过程调用（RPC）一直是分布式系统的基石。 最近，在数据中心中运行的新类型的大规模分布式系统在扩展和延迟方面对RPC系统构成了额外的挑战。 我们发现现有的RPC系统对资源（CPU，内存，网络）的使用非常差，并且还没有准备好处理这些即将到来的工作负载。 在本文中，我们介绍了DaRPC，这是一个RPC框架，它使用RDMA在用...翻译 2018-07-24 11:29:06 · 2146 阅读 · 0 评论 -
一周一论文（翻译 总结）— [Eursys 17] RFP When RPC is Faster than Server-Bypass with RDMA
Abstract 远程直接内存访问（RDMA）已广泛部署在现代数据中心中。 然而，RDMA的现有用法导致性能和重新设计成本之间的两难抉择问题。 它们或者直接用RDMA对应的操作原语（服务器回复）替换相应的基于Socket套接字的发送/接收原语，这只能实现适度的性能提升; 或者通过使用单面RDMA操作来完全绕过服务器（服务器旁路），从而进一步提高性能，但代价是重新设计软件。 ...翻译 2018-07-26 15:13:30 · 1426 阅读 · 0 评论 -
[RDMA] RDMA 初步使用操作
本小节只适用于 InfiniBand 设备。因为 iWARP 和 RoCE/IBoE 设备是基于 IP 的设备，用户应在配置 IPoIB 且设备有 IP 地址后，按照执行 RDMA 测试操作一节的内容进行测试。1. InfiniBand 设备信息启用 rdma 服务和 opensm 服务（若需要），并为具体硬件安装适当的用户空间库后，就可以进行用户空间 rdma 操作。service...原创 2018-07-28 18:27:05 · 9037 阅读 · 1 评论