生成checkpoint数据
设置checkpoint目录
需要缓存的rdd调用checkpoint方法
sc.setCheckpointDir("/data/checkpoint")
rdd.checkpoint()
加载checkpoint数据
sparkContext通过checkpointFile方法指定ck目录,实现加载上次的数据,但是不对外开放。
sparkContext中checkpointFile方法是私有的,我们可以在org.apache.spark包下创建一个一个类,调用checkpointFile方法即可