[Spark进阶]--Spark RDMA技术

Apache Spark RDMA插件

Apache Spark™是一种用于大规模数据处理的开源，快速和通用引擎。Spark提供了一个接口，用于使用隐式数据并行和容错来编程整个集群。

概览

Apache Spark™为程序员提供了一个以数据结构为中心的API，称为弹性分布式数据集（RDD），这是一种分布在机器集群上的只读多集数据项，以容错方式进行维护。它是为了响应MapReduce集群计算范例的局限性而开发的，它强制分布式程序上的特定线性数据流结构：MapReduce程序从磁盘读取输入数据，在数据中映射函数，减少映射结果，以及存储减少磁盘上的结果。Spark的RDD作为分布式程序的工作集，提供（故意）受限形式的分布式共享内存。

 

<