第12课 :Spark Streaming源码解读之Executor容错安全性
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/
1、从数据安全的角度考虑,Spark Streaming不断的接收数据,不断的生成job,不断的提交job,数据的安全性是至关重要问题。
2、Spark Streaming基于spark core,运行的过程中,借助spark core的rdd自动恢复。
因此首先保证数据的安全容错。数据层面的安全容错之上,计算、调度层面的安全容错主要是spark core实现的容错,天然就是安全容错的。
数据的2种安全容错方式,没有第三种方式了。
1、支持副本 借助blockmanager做备份 storgelever。disk and memory 2
2、支持重放--反复读取数据,例如过去10秒的数据。
tips:听spark streaming吃力唯一的问题是对spark core 掌握不够,内功不够。spark core 真的最重要的!!无为而无所不为!