RDMA
文章平均质量分 55
U2014684
这个作者很懒,什么都没留下…
展开
-
RDMA read/write with ib verbs
RDMA因为其kernel-bypass,zero-copy,cpu offload三种特性,能够提供低延迟、高吞吐的数据传输性能。 使用RDMA进行数据传输时,read/write在client/server端的具体操作可以概括为以下步骤: 1. 初始化连接和注册内存区(Memory Region); 2. 建立连接; 3. ...原创 2020-02-27 17:41:30 · 804 阅读 · 0 评论 -
RDMA的3种Queue Pair类型
本文翻译自英文博客,原文地址:https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use/在编写RDMA应用程序时(就像在套接字上编写应用程序时一样),应该决定使用哪种QP类型。在这篇文章中,我将详细描述每种传输类型的特征。在RDMA中,有三种QP类型。它们可以表示为: XY X可以是: ...翻译 2020-02-26 20:36:39 · 1536 阅读 · 0 评论 -
基于Java的RDMA高性能通讯库(五):Java API over AccelIO (JXIO)
Accelio是一个开源的、高性能的、可靠的、异步消息传递接口。它当前通过对RDMA和TCP/IP的软件接口抽象,提供了一套xio接口。通过这个接口可以方便的使用RDMA并兼容已有的TCP网络。Accelio的目标是提供一个简单好用、可靠、规模化、高性能的、能最大化利用CPU和网络基础设施的数据或消息传递中间件。目前ceph已开始使用Accelio。在软件接口层面Accelio缩写为xio...原创 2018-07-20 16:19:43 · 582 阅读 · 1 评论 -
SparkRDMA:使用RDMA技术提升Spark的Shuffle性能
目录Spark Shuffle 基础RDMA 技术SparkRDMA安装使用关于配置libdisni.soSpark Shuffle 基础在 MapReduce 框架中,Shuffle 是连接 Map 和 Reduce 之间的桥梁,Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节;而 Reduce 和 Map 过程通常不在一台节点,这意味着 S...原创 2018-07-20 17:22:29 · 471 阅读 · 0 评论 -
RDMA技术介绍
面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用,现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。这要有体现在处理延时过大,数十微秒;多次内存拷贝、中断处理,上下文切换、复杂的TCP/IP协议处理、网络延时过大、存储转发模式和丢包导致额外延时。接下来我们继续讨论RDMA技术、原理和优势,看完文章你就会找到为什么RDMA可以更好的解决这一系列问题。RDM...转载 2018-08-16 11:09:28 · 857 阅读 · 0 评论