SparkRDD简单理解

透过现象看本质,查看下本质的源码信息
spark源码地址:
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala

从概念看RDD特性

源码注解 部分截图

A Resilient Distributed Dataset (RDD)

从代码的注解可以看到,RDD就是Resilient Distributed Dataset(弹性分布式数据集),那怎么理解弹性分布式数据集?
首先 弹性 ,这里主要指的是spark集群在计算方面的体现,可以让spark做到在分布式计算的时候可以容错, 比如说计算的时候数据丢失,或者节点挂了,spark可以通过内置的机制进行修复;
分布式 意味着 数据在多台节点上,spark可以在不同的节点上,并行计算,因为节点之间没有依赖关系;
数据集 可以理解成hdfs的block, 或者理解成一个数组;

Represents an immutable,

rdd是不可变的, 意味着 rdd创建之后是不可以改变的

partitioned collection of elements that can be operated on in parallel.

元素可以拆分成分区的集合,这些集合能被并行结算.
其实可以理解成

我现在有一个RDDA 元素有(1,2,3,4,5,6,7,8,9)
现在讲RDDA 根据分区数进行 切分,假设我有3个分区,nameRDDA会被切成
Partition1:(1,2,3)
Partition2:(4,5,6)
Partition3:(7,8,9)

如果我想对RDDA 进行 +1 的操作
spark会对切好的分区节点数据 同时+1
Partition1:(1,2,3)		+1
Partition2:(4,5,6)		+1
Partition3:(7,8,9)		+1

这就是将元素切分成分区集合,然后对分区的集合做并行计算

从RDD类看RDD特性

abstract class RDD[T: ClassTag](
    @transient private var _sc: SparkContext,
    @transient private var deps: Seq[Dependency[_]]
  ) extends Serializable with Logging {

• 首先 abstract 说明RDD是抽象类,必然有子类实现的,我们使用的时候,直接使用对应的子类即可
• Serializable 序列化,在分布式计算的试试,网络传输的时候必要需要序列化
• T 泛型 ,RDD的数据类型是不确定的 可以支持各种数据类型;