1.宽依赖与窄依赖
RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。
- 窄依赖
父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的
partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。
- 宽依赖
父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生
- 宽窄依赖图理解
2.stage的划分
Spark任务会根据RDD之间的依赖关系,形成一个DAG有向无环图,DAG会提交给DAGScheduler,DAGScheduler会把DAG划分相互依赖的多个stage,划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler运行。
注:stage是由一组并行的task组成
- stage切割规则
切割规则:从后往前,遇到宽依赖就切割stage。 - stage切割理解图
- stage计算模式
pipeline:管道计算模式,pipeline只是一种计算思想,模式。
注:pipeline管道计算模式应用于stage的内部,task在完成RDD之间数据的传递是在内存传输的,而且是一条一条的传输, stage与stage之间会发生落地磁盘。反观MapReduce是在磁盘上进行数据的传输,而且传输的是整个要传输的数据,比较缓慢。
☆ 数据一直在管道里面什么时候数据会落地?
1.对RDD进行持久化时
当使用persist(StorageLevel.DISK_ONLY)或checkpoint( )持久化算子时,需要落地磁盘
2.shuffle write的时候
reducesByKey过程会经过shuffle操作,因此reducesByKey被称为宽依赖的算子
☆ Stage的并行度由谁决定?
由一个Stage中finalRDD(最后一个RDD)中的partition的个数决定。
☆ 如何提高Stage的并行度?
reducesByKey(XXX,numpartition) , join(XX,numpartition)
例如:
val conf = new SparkConf().setMaster("local").setAppName("test")
val sc = new SparkContext(conf)
val rdd = sc.makeRDD(Array(("mage",2),("mage",4),("superman",6),("superman",6)),2)
rdd.reducesByKey(_+_,4)
☆ 测试验证pipeline计算模式
val conf = new SparkConf()
conf.setMaster("local").setAppName("test");
val sc = new SparkContext(conf)
val rdd = sc.parallelize(Array("a","b","c","d"))
val rdd1 = rdd.map ( x => {
println("map========"+x)
x
})
val rdd2 = rdd1.filter ( x => {
println("fliter********"+x)
true
}).collect()
sc.stop()
打印结果如下: