CheckPoint机制

最新推荐文章于 2023-07-03 09:50:52 发布

weixin_33921089

最新推荐文章于 2023-07-03 09:50:52 发布

阅读量267

点赞数

文章标签： python 大数据人工智能

原文链接：https://my.oschina.net/u/3701483/blog/3011173

版权

2019独角兽企业重金招聘Python工程师标准>>>

概述：

checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中,但是这样也不能保证数据完全不会丢失,存储的这个内存出问题了或者磁盘坏了,也会导致spark从头再根据RDD计算一遍,所以就有了checkpoint,其中checkpoint的作用就是将DAG中比较重要的中间数据做一个检查点将结果存储到一个高可用的地方

代码示例：

object ChickPointDemo {
  def main(args: Array[String]): Unit = {
    val conf=new SparkConf().setMaster("local").setAppName("wordcount")
    val sc=new SparkContext(conf)
    sc.setCheckpointDir("hdfs://hadoop01:9000/check01")
    val data=sc.textFile("d://data/word.txt")
    data.cache()
    data.checkpoint()
    val wordcount=data.flatMap {_.split(" ")}.map {(_,1)}.reduceByKey(_+_)
    wordcount.cache()
    wordcount.checkpoint()
    wordcount.foreach{println}
  }
}

总结：Spark的CheckPoint机制很重要，也很常用，尤其在机器学习中的一些迭代算法中很常见。比如一个算法迭代10000次，如果不适用缓冲机制，如果某分区数据丢失，会导致整个计算链重新计算，所以引入缓存机制。但是光引入缓存，也不完全可靠，比如缓存丢失或缓存存储不下，也会导致重新计算，所以使用CheckPoint机制再做一层保证。

补充：检查目录的路径，一般都是设置到HDFS上

转载于:https://my.oschina.net/u/3701483/blog/3011173