spark中的血统

为什么会有血统？

Lineage定义

Lineage：用来描述不同RDD之间的依赖关系。
RDD在Lineage方面主要分为两种：窄依赖和宽依赖。
那什么是窄依赖和宽依赖呢？
窄依赖：父RDD中的每个分区最多被子RDD的一个分区使用。
宽依赖：父RDD中的每个分区被子RDD中的多个分区使用。

血统解决了什么问题？

在spark的容错机制中，当一个节点宕机了，进行容错恢复时，
对窄依赖来讲：计算时只要把丢失的父RDD相应的分区重新计算即可，其他分区不用计算，不依赖于其他的节点。

例如：图1，如果RDD_1中的partition3出错丢失了，spark会回溯到partition3的父RDD相应的分区partition3，只需要对RDD_0的partition3进行相应的计算就可以恢复RDD_1的partition3的数据。
对于宽依赖： 如果RDD_1中的partition3丢失出错，由于其父RDD的分区是所有的分区，所以需要回溯到RDD_0，重算RDD_0的所有分区，然后将RDD_1的partition3需要的数据聚集合并为RDD_1的partition3。