Spark 中的RDD是个什么鬼,我们为什么需要它?

Spark 中的RDD是个什么鬼,我们为什么需要它?

2015-11-02 小象

译者:付军

原文链接:https://dzone.com/articles/what-is-rdd-in-spark-and-why-do-we-need-it

小象科技原创作品,欢迎大家疯狂转发;

机构、自媒体平台转载务必至后台留言,申请版权。


Spark 中的RDD是个什么鬼,

我们为什么需要它?



就快速执行诸如机器学习这样的迭代处理算法而言,Apache Spark 已经在通常情况下赶超了Hadoop(MapReduce),因为它提供了非常多的好处。


这篇博文中,我们将会试着去理解到底是什么让spark RDD在批处理分析中如此的有用。


1为什么是RDD?

当提到分布式迭代计算,例如,通过多个job的计算来处理数据,类似有逻辑回归,K-means聚类,Page rank算法,在多个job中重用或者共享数据,又或者你可能希望在一个共享数据集中执行多个即席查询,这些都相当普遍。


在现有的分布式计算系统(比如MapReduce)中实现数据重用和数据共享有一个潜在的问题,即你需要将一些中间结果数据存储在稳定的分布式存储中,比如说HDFS或者Amazon S3。这就使得整个job的计算非常缓慢,因为它在处理过程中涉及到很多的IO操作,数据复制和数据序列化操作。



MapReduce中的迭代处理


RDDs ,试图在分布式内存计算中启用容错机制来解决这些问题。



Spark中的迭代处理


现在,让我们看一下RDD到底是什么以及它怎样实现容错的。


2RDD ——弹性分布式数据集

RDDs 是不可改变的并且已分区的记录集合,它只能够通过类似map,filter,group by等等粗粒度的操作所创建,这意味着,这些操作是被应用到数据集中的所有元素上的。RDDs 只能够通过从一个诸如HDFS这样的稳定存储中读取数据而创建,或者通过在现有RDDs上的转换操作来创建。


现在,它是怎样起到容错的作用呢?


由于RDDs是通过一系列转换操作创建的,它记录了这些转换操作,而并不是真正的数据。产生一个RDD的转换操作组成的图谱被叫做Lineage Graph。


例如:firstRDD=spark.textFile("hdfs://...")secondRDD=firstRDD.filter(someFunction);thirdRDD = secondRDD.map(someFunction);



Spark RDD Lineage Graph


为了防止我们丢失RDD的一些分区,我们可以在那个丢失的分区上重新运行lineage中的转换操作来实现同样的计算,而不是跨越多个节点重新复制数据。这个特点是RDD最大的利益所在,因为它在数据管理和数据复制方面节省了很多努力,并因此实现了更加快速的计算性能。


展开阅读全文

没有更多推荐了,返回首页