1,:checkpoint 检查点机制,在流式处理时用到,固定的使用如下
def xxx()={
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc,Second(1))
ssc.checkpoint(checkpointDir)
}
....
val ssc = StreamingContext.getOrCreate(checkpointDir,xxx _)
2: spark-submit 集群提交时,注意配置信息低于写死的文件的配置信息,这个很重要,尤其setMaster