spark core

一、checkpoint

1、首先设置checkpoint路径，通过SparkContext的setCheckpointDir(dir)设置
2、RDD本身调用checkpoint()方法
3、checkpoint过程：
    (1)RDD本身调用checkpoint()方法后，RDDCheckpointData对象会对该RDD进行处理，并将该RDD的状态设置
    MarkedForCheckpoint;
    (2)RDD所在的job运行结束后，会调用该job中最后一个RDD的doCheckpoint()方法，该方法沿着finalRDD的
    lineage(RDD的血丝关系，依赖链条)向上查找标记为MarkedForCheckpoint的RDD，并将其标记为CheckpointingInProgress
    (3)启动一个单独的job，将lineage中标记为CheckpointingInProgress的RDD进行checkpoint操作，也就是将其数据写入
    文件系统中；
    (4)将RDD的数据进行checkpoint之后，会改变RDD的lineage，即会清除掉该RDD所有的依赖RDD，将其父RDD设置为
    一个CheckpointRDD，而且该RDD状态变成Checkpointed。
4、checkpoint与持久化的区别
    持久化：将数据保存在BlockManager中，但rdd的lineage(依赖关系)没有改变，数据丢失概率大
    checkpoint：将数据保存在高容错的文件系统中，rdd的lineage发生改变
5、实现checkpoint之后，在后续某个task又调用该RDD的iterator()方法时，就实现了高容错机制，即使rdd的持久
    化数据丢失，或者没有进行持久化，但可以通过readCheckpointOrCompute()方法，优先从该RDD的父RDD(CheckpointRDD)
    中读取数据。
6、通常对要进行checkpoint的RDD，先进行persist(StroageLevel.DISK_ONLY)；因为RDD持久化后，当进行checkpoint时，
    就可以直接将该RDD的数据checkpoint到文件系统中，否则需要重新计算出该RDD后才能进行checkpoint操作。