Spark的Lineage机制通过Narrow和Wide Dependencies实现数据容错。Narrow Dependencies确保高效重算，每个父RDD分区最多对应一个子RDD分区。Wide Dependencies则可能导致较高的重算成本。当输出节点宕机，需要回溯lineage重试。RDD容错可通过checkpoint实现，可选择数据保存或更新日志记录，默认采用记录lineage的方式重新计算丢失数据。
利用内存加快数据加载，在众多的其它的In-Memory类数据库或Cache类系统中也有实现，Spark的主要区别在于它处理分布式运算环境下的数据容错性（节点实效/数据丢失）问题时采用的方案。为了保证RDD中数据的鲁棒性，RDD数据集通过所谓的血统关系(Lineage)记住了它是如何从其它RDD中演变过来的。相比其它系统的细颗粒度的内存数据更新级别的备份或者LOG机制，RDD的Lineage记录的是粗颗粒度的特定数据转换（Transformation）操作（filter, map, join etc.)行为。当这个RDD的部分分区数据丢失时，它可以通过Lineage获取足够的信息来重新运算和恢复丢失的数据分区。这种粗颗粒的数据模型，限制了Spark的运用场合，但同时相比细颗粒度的数据模型，也带来了性能的提升。
RDD在Lineage依赖方面分为两种Narrow Dependencies与Wide Dependencies用来解决数据容错时的高效性。
Narrow Dependencies
最低0.47元/天 解锁文章
5479
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
