RDD容错

（1）RDD分宽依赖和窄依赖，在宽依赖的RDD数据丢失后，要重新计算所有父分区，由DAGScheduler调用重做上一个Stage，宽依赖的RDD数据丢失后由TaskManager调用重做丢失数据的Task，这一种情况是在一个action执行的过程中发生的，所以出错后不需要执行所有的Stage，因为每个Stage执行之后会保存下suffer数据，供下一个Stage 使用。

（2）persist和cache操作后数据也可能丢失，例如：cache在内存，在内存不足的时候，cache的内容可能丢失。当cache下来的数据丢失之后，容错重新获取数据需要重做cache之前整条依赖链的所有Stage。因为cache/persist是懒操作，所以cache/persist是发生在action之后，数据丢失意味着action已经结束了，不能像（1）一样只是执行上一个Stage，需要重做全部Stage，避免重做全部Stage就要使用到checkpoint。

（3）checkpoint就是避免（2）中数据丢失之后需要重做所有Stage，当使用checkpoint之后，checkpoint的RDD会存在disk里，并且清除checkpoint之前的依赖，这样cache/persist在数据丢失之后，就会从checkpoint的地方，读取disk的数据开始重做。不需要维护过长的依赖链。