Sprak学习之RDD五大特性

RDD Resillient Distributed Dataset 即为弹性分布式数据集 

在spark中有五大特性

1:a list of partiotioner 有着partiotioner集合  partiotioner是一个具体概念指在一个节点中的连续的空间。一个partiotioner肯定使在一个节点上,但是一个节点上会有着好几个partiotioner.

2:a function for partiotioner 每一个partiotioner都有着一个函数对其进行运算。这也是spark并行计算的基础。

3:a list of dependencies on others RDDS RDD中间有着一系列的相互依赖。因为众所周知RDD是基于内存的运算的,虽然基于内存运算可以带来比较快的速度,但是相对应而来的便是容错性不好,因为随着一个节点的宕机,随之而来的是内存中的数据全部丢失。所以RDD这一特性也是RDD机制中容错性的一个保证。因为在spark并行计算中,是由着不同的RDD相互转换来进行的,如果其中一条线断了,RDD这个特性会去找上层RDD,如果找不到会一直追寻到顶层的元数据来重新运算。

4:optionally ,a partitioner for key-value RDDS,可以对每一个partitioner进行再次分区。但是这个特性的先决条件是RDD必须是键值对格式的。

5:数据本地性。


RDD调度,在RDD的执行中总共分为两种类型 一种延迟执行一种是立即执行。在编译代码的时候,遇见延迟执行会放置进行,等遇见立即执行的触发之后,会将该段代码封装成一个JOB立即执行。



展开阅读全文

没有更多推荐了,返回首页