Resilient Distributed Dataset :弹性分布式数据集
五大特性:
1,A list of partitions
是由一系列一片连续的数据组成的;
一个partitions只能是在一个节点上;
一个节点可以有多个partitions;
每个partitions的数据是不一样的;
2,A function for computing each split
一般情况下,一个partitions对应一个split(block size)
也就是说一个partitions会对应function,说明并行计算
3,A list of dependencies on other RDDs
一个RDD是依赖之前的RDD,这样做主要是为了容错,重新计算
4,Optionally, a Partitioner for key-value RDDs
可以重新分配partitions
5,Optionally, a list of preferred locations to compute each split on
最好的情况是这一系列partitions是基于本地的,这样就会对应的一个本地的计算
五大特性:
1,A list of partitions
是由一系列一片连续的数据组成的;
一个partitions只能是在一个节点上;
一个节点可以有多个partitions;
每个partitions的数据是不一样的;
2,A function for computing each split
一般情况下,一个partitions对应一个split(block size)
也就是说一个partitions会对应function,说明并行计算
3,A list of dependencies on other RDDs
一个RDD是依赖之前的RDD,这样做主要是为了容错,重新计算
4,Optionally, a Partitioner for key-value RDDs
可以重新分配partitions
5,Optionally, a list of preferred locations to compute each split on
最好的情况是这一系列partitions是基于本地的,这样就会对应的一个本地的计算