spark的checkpoint

checkpoint的机制保证了需要访问重复数据的应用Spark的DAG执行行图可能很庞大，任务中计算链可能会很长，这时如果任务中途运行出错，那么任务的整个需要重算非常耗时，因此，有必要将计算代价较大的RDD checkpoint一下，当下游RDD计算出错时，可以直接从checkpoint过的RDD那里读取数据继续算。

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object CheckPointTest {

   def main(args: Array[String]) {
      
    val sc: SparkContext = SparkContext.getOrCreate(new   SparkConf().setAppName("ck").setMaster("local[2]"))
    sc.setCheckpointDir("/Users/kinge/ck")

    val rdd: RDD[(String, Int)] = sc.textFile("").map{x=>(x,1) }.reduceByKey(_+_)
    rdd.checkpoint()

    rdd.count()
    rdd.groupBy(x=>x._2).collect().foreach(println)
   }
}

作者：那年的坏人
链接：https://www.jianshu.com/p/653ebabc8f87
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。