1.spark streaming的整体容错性的图解

关键词driver,checkPoint,以及

Executor端容错机制:热备

class MyReceiver extends Receiver(Storagelevel.memory_only_2){
 //当memory.level这里是2的话就是进行一个热备份,默认是双倍的,进行一个热备份.
}

//冷备份
WAL,在每次将数据进行写入的时候,先写一个log的日志,进行一个备份.

数据源获取的过程中可以进行一个Blockmanager()进行一个handler()相关方法的处理这里是是进行一个备份,这里是进行一个数据的转移和备份的一个过程

wal的原理类似于logger,4j进行了一个数据的log日志,

总结,如果是是用的都是HDFS那么就使用的都是HDFS进行一个存储.

WAL一共需要两个开关,1>设置checkpoint目录 2>将spark.streaming.revicer.

5.Diver端容错机制

6.WAL是有个writetolog