博客详细介绍了Spark中RDD的依赖类型，包括窄依赖和宽依赖，以及它们如何影响shuffle过程。RDD的血统（Lineage）用于恢复丢失数据，DAG有向无环图则描述了RDD转换的逻辑。DAGScheduler根据宽依赖将DAG切分为Stage，并在webUI中可查看Stage和Task。任务生成和提交分为四个阶段，强调了TaskScheduler的角色和Executor的执行过程。
RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖和宽依赖。
窄依赖
子rdd对应一个或有限个父rdd
宽依赖
子rdd对应所有父rdd
宽依赖就会发生shuffle过程
Lineage(血统)
将创建RDD的一系列Lineage（即血统）
记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部
分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。
DAG有向无环图
RDD任务的切分
并行度：程序同一时间执行作业的线程个数。
原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的
Stage
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
