第13课：Spark Streaming 源码解读之Driver 容错安全性

第13课：SparkStreaming 源码解读之Driver 容错安全性

 

    Driver端的容错包括ReceivedBlockTracker,JobGenerator,DStreamGraph三个层面的容错,这三者对于Driver端的元数据的容错至关重要。

本期概览：

、ReceivedBlockTracker从元数据容错层面谈driver容错

2、JobGenerator,DStreamGrapgh从业务逻辑级别和业务物理执行级别谈driver容错

 

    Driver容错安全性是从Spark Streaming自已的运行机制的角度考虑，例如：对元数据运行方面采用的WAL方式，对自已调度逻辑或自已驱动层面容错安全------主要是采用checkpoint方式，以上两种层面容错在生产环境之下是足足不够的。

   本节讲解 Driver容错以本身的容错机制出发进行解析的。

一、接下来，我们首先进入ReceivedBlockTracker的源码部分，它是管理Receiver 接受的数据的元数！是数据层次的容错。

 

二、Dstream是数据逻辑层面的容错，JobGenerator是数据生成Job层面的容错，这两者统称为调度层面的容错，具体源码请自已进入源码详解查看!

作者：大数据技术研发人员：谢彪

• 资料来源于：DT_大数据梦工厂(Spark发行版本定制) 

• DT大数据梦工厂微信公众号:DT_Spark 

• 新浪微博：http://www.weibo.com/ilovepains

• 王家林老师每晚20:00免费大数据实战

YY直播：68917580