文章目录
1、RDD源码定义
RDD源码地址:
https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/rdd
打开RDD.scala
源码文件
斜杠后面的单词就是目录层次,逐级往下就行
-
A Resilient Distributed Dataset (RDD), the basic abstraction in Spark.
基于Spark,弹性分布式数据集(RDD)
弹性体现在计算上,在Spark分布式计算的时候,可以容错,比如计算过程中某一部分数据丢失,可以通过一些机制修复。 -
Represents an immutable,partitioned collection of elements that can be operated on in parallel.
代表不可变的,以并行的方式操作分区的元素集合。
that can be operated on in parallel.这里that,指partitioned collection of elements
不可变说明RDD一旦生成,就不可变的。
分区的元素集合,就是把一个大的拆分成很多个小的,可以理解为HDFS的Block/InputSplit
举例:
RDDA:(1,2,3,4,5,6,7,8,9) --> RDDA生成不可变
hadoop001:Partition1:(1,2,3) -->三个分区,每个分区分布在不同节点上
hadoop002:Partition1:(4,5,6)
hadoop003:Partition1:(7,8,9)
如果要睿RDDA做一个 operated +1,应该是对所有Partition上的元素做了 +1的操作,并且是在每个节点
是同时进行的(并行处理) -
RDD的定义
abstract class RDD[T: ClassTag](
@transient private var sc: SparkContext,
@transient private var deps: Seq[Dependency[]]
) extends Serializable with Logging {}
- 抽象类:RDD必然是有子类实现,使用时调用子类即可
- Serializable序列化,比如网络的传输
- Logging特质
- [T: ClassTag]泛型,说明RDD存储的数据类型时不确定的
- SparkContext
- @transient 指定该属性或字段不是永久的。
2、RDD五大特性
2.1 each RDD is characterized by five main properties:
- A list of partitions
分区列表 - A function for computing each split(理解成partition)
函数作用在每个分区上 - A list of dependencies on other RDDs
RDD之间有依赖关系
RDDA=>RDDB=>RDDC=>RDDD - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
分区器是作用在K,V格式的RDD上,默认是hash-partitioned - Optionally, a list of preferred locations to compute each split on (e.g. block locations for
an HDFS file)
preferred locations 优先位置
每一个分区在计算时会选择最佳的计算位置(体现了数据本地性,要运行的计算或操作,最要是把task放到
对应数据的那台)
2.2 RDD五大特性和RDD源码的对应关系
打开这个文件RDD.scala
对应第二个特性
def compute(split: Partition, context: TaskContext): Iterator[T]
计算:其实是对RDD立面的每个分区做计算
传入的参数:split类型是Partition
context类型是TaskContext
对应第一个特性
protected def getPartitions: Array[Partition]
得到分区,返回的类型Array[Partition],是一个数组或集合,数组或集合的类型是Partition
对应第三个特点
protected def getDependencies: Seq[Dependency[_]] = deps
得到一个Dependencies
对应第五个特点
protected def getPreferredLocations(split: Partition): Seq[String] = Nil
对应第四个特点
@transient val partitioner: Option[Partitioner] = None
其他RDD源码
打开JdbcRDD.scala
override def getPartitions: Array[Partition] = {}
override def compute(thePart: Partition, context: TaskContext): Iterator[T] = new NextIterator[T]
打开JdbcRDD.scala
override def getPartitions: Array[Partition]
override def compute(theSplit: Partition, context: TaskContext): InterruptibleIterator[(K, V)]
override def getPreferredLocations(split: Partition): Seq[String]