Spark的RDD依赖关系

Spark的RDD依赖关系

一、RDD的血缘关系

RDD 只支持粗粒度转换，即在大量记录上执行的单个操作。将创建 RDD 的一系列 Lineage（血统）记录下来，以便恢复丢失的分区。RDD 的 Lineage 会记录 RDD 的元数据信息和转换行为，当该 RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。

上图中A和B是依赖关系，B和C是依赖关系，那么A和B就是血缘关系，血缘关系可以看做是非直系亲属关系

类似于A和C的连续的RDD的依赖关系，称之为血缘关系，每个RDD会保存血缘关系

val fileRDD: RDD[String] = sc.textFile("input/1.txt") 
println(fileRDD.toDebugString) 
println("----------------------") 
 
val wordRDD: RDD[String] = fileRDD.flatMap(_.split(" ")) 
println(wordRDD.toDebugString) 
println("----------------------") 
 
val mapRDD: RDD[(String, Int)] = wordRDD.map((_,1)) 
println(mapRDD.toDebugString) 
println("----------------------") 
 
val resultRDD: RDD[(String, Int)] = mapRDD.reduceByKey(_+_) 
println(resultRDD.toDebugString) 
 
resultRDD.collect()

二、RDD的依赖关系

这里所谓的依赖关系，其实就是两个相邻 RDD 之间的关系

上图中的A和B是依赖关系，B和C是依赖关系，依赖关系可以看做是直系的亲属关系

RDD不会保存数据，RDD为了提供容错性，需要将RDD间的关系保存下来，一旦出现错误，可以根据血缘关系将数据源重新读取进行进算

根据依赖的RDD不同，RDD依赖关系会分成款依赖和窄依赖两种

val sc: SparkContext = new SparkContext(conf) 
 
val fileRDD: RDD[String] = sc.textFile("input/1.txt") 
println(fileRDD.dependencies) 
println("----------------------") 
 
val wordRDD: RDD[String] = fileRDD.flatMap(_.split(" ")) 
println(wordRDD.dependencies) 
println("----------------------") 
 
val mapRDD: RDD[(String, Int)] = wordRDD.map((_,1)) 
println(mapRDD.dependencies) 
println("----------------------") 
 
val resultRDD: RDD[(String, Int)] = mapRDD.reduceByKey(_+_) 
println(resultRDD.dependencies) 
 
resultRDD.collect()

1：窄依赖

新的RDD的一个分区的数据依赖于旧的RDD一个分区的数据，这个依赖称之为OneToOne依赖，又称为窄依赖

class OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd)

2：宽依赖

新的RDD的一个分区的数据依赖于旧的RDD多个分区的数据，这个依赖称之为Shuffle依赖，又称为宽依赖

class ShuffleDependency[K: ClassTag, V: ClassTag, C: ClassTag]( 
    @transient private val _rdd: RDD[_ <: Product2[K, V]], 
    val partitioner: Partitioner, 
    val serializer: Serializer = SparkEnv.get.serializer, 
    val keyOrdering: Option[Ordering[K]] = None, 
    val aggregator: Option[Aggregator[K, V, C]] = None, 
    val mapSideCombine: Boolean = false) 
  extends Dependency[Product2[K, V]]