Spark中的Lineage血统

Spark中的Lineage血统

说明

• RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。

体现过程

• RDD在计算过程中，如果有一个RDD的分区信息丢失，该RDD会首先判断是否做个缓存，如果做过缓存，则直接取出缓存的数据，如果没有缓存，就判断是否做过checkpoint，如果没有checkpoint，则从父的RDD的分区开始重新计算，其他分区都不用重新计算，这样既保证了容错性，又提高了运算效率。

区别

• 在任务计算过程中，如果其中一个Executor宕掉了，会由worker重新启动一个新的executor继续完成剩余的任务，如果某一个Worker宕掉了，此时的master不会重新启动新的worker，会把宕掉的worker没有完成的任务重新分配给其他worker进行计算，这个过程和lineage是没有关系的，这是属于集群的容错机制。