血缘和宽窄依赖

血缘和宽窄依赖

1.血缘

比如RDD2基于RDD1。

rdd2=rdd1.flatmap（word=>word.split(" ")）

这就是rdd2 依赖rdd1.依赖是rdd之间的关系。某个rdd从数据源获取数据并不是依赖。

同时还存在间接依赖的情况，比如rdd3=rdd2.xxx。则rdd3间接依赖rdd1

需要注意的是，rdd不存储数据，如果rdd1没缓存，则rdd2调用时，rdd1需重新计算后给其调用。

多个连续的依赖关系称之为血缘。

2.宽窄依赖

假设rdd1有俩分区，rdd2也有俩分区。

窄依赖：

rdd1分区一有，a，b两条数据。分区上task跑完后，rdd2分区一也有a，b两条数据，这就是窄依赖

宽依赖：

rdd1分区1有a，b，分区2有c，d。 shuffle后，rdd2分区一有a，c。分区二有b。d

也就是说分区数没变，但是每个分区数据变了。同时新分区数据来自多个旧分区。

3.阶段任务

application：每初始话一个sparkcontext就生成一个application

job：一个action生成一个job

stage：stage是shuffle（宽依赖）数加1.同时通过shuffle来划分stage

task：一个stage阶段中，最后一个rdd的分区数就是task个数。

app ->job->stage->task

每一层都是一对N的关系。