Spark的容错机制

• Spark容错机制：首先会查看RDD是否被Cache，如果被Cache到内存或磁盘，直接获取，否则查看Checkpoint所指定的HDFS中是否缓存数据，如果都没有则直接从父RDD开始重新计算还原

• 先cache再checkpoint测试

  from pyspark import SparkContext, SparkConf
  
  if __name__ == '__main__':
      print("PySpark chche&checkpoint Program")
      # 1.创建应用程序入口SparkContext实例对象
      conf = SparkConf().setAppName