Spark容错机制，Lineage，Checkpoint

一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。
面向大树据处理检查点机制的代价更高，需要通过数据中心的网络连接在不同的机器之间复制数据，而网络的带宽往往比内存的带宽低的多，并且需要消耗大量的存储资源。因此spark选择了记录数据的更新，但是记录的太细也会消耗大量的资源。因此，RDD只支持粗粒度的转换，即只记录单个块上的单个操作，然后将创建RDD的一系列变换序列（每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统(Lineage)”)记录下来，以便恢复丢失的分区。
Lineage本质上很类似于数据库中的重做日志（Redo Log），只不过这个重做日志粒度很大，是对全局数据做同样的重做进而恢复数据。

Lineage机制

相比较其它系统的细粒度的内存数据更新级别的备份或是LOG机制，RDD的Lineage记录的是粗颗粒度的特定数据Transformation操作（filter，map，join等）当这个RDD的部分分区数据丢失，可以通过Lineage获取信息来重新计算和恢复丢失的数据。因为这种粗粒度的容错机制也限制了spark的运用场合，但相比细粒度的容错机制也大大提高了运行的性能。

RDD在Lineage依赖方面分为两种：窄依赖(Narrow Dependencies)与宽依赖(Wide Dependencies,源码中称为Shuffle Dependencies)，用来解决数据容错的高效性。对于区分两种依赖可参考文章Spark