【Spark】Spark容错机制

最新推荐文章于 2024-08-21 18:02:39 发布

JasonDing1354

最新推荐文章于 2024-08-21 18:02:39 发布

阅读量5.4k

点赞数

分类专栏：【Spark】

本文链接：https://blog.csdn.net/JasonDing1354/article/details/46882585

版权

本文深入探讨Spark的容错机制，重点介绍了Lineage和Checkpoint。Lineage通过记录RDD的转换序列实现粗粒度的容错，而Checkpoint机制在DAG Lineage过长或宽依赖时用于降低容错成本。理解这两种机制对于优化Spark作业的性能和可靠性至关重要。

摘要由CSDN通过智能技术生成

引入

一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。
面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。
因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD的一系列变换序列（每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统(Lineage)”容错）记录下来，以便恢复丢失的分区。
Lineage本质上很类似于数据库中的重做日志（Redo Log），只不过这个重做日志粒度很大，是对全局数据做同样的重做进而恢复数据。

Lineage机制

Lineage简介

相比其他系统的细颗粒度的内存数据更新级别的备份或者LOG机制，RDD的Lineage记录的是粗颗粒度的特定数据Transformation操作（如filter、map、join等）行为。当这个RDD的部分分区数据丢失时，它可以通过Lineage获取足够的信息来重新运算和恢复丢失的数据分区。因为这种粗颗粒的数据模型，限制了Spark的运用场合，所以Spark并不适用于所有高性能要求的场景，但同时相比细颗粒度的数据模型，也带来了性能的提升。