我的大数据之旅-Spark checkpoint的使用，spark shell演示

最新推荐文章于 2023-02-16 11:26:05 发布

有一个码农，他叫封子

最新推荐文章于 2023-02-16 11:26:05 发布

阅读量209

点赞数

分类专栏： Spark 大数据

本文链接：https://blog.csdn.net/qq_27991405/article/details/102545909

版权

大数据同时被 2 个专栏收录

40 篇文章 0 订阅

订阅专栏

Spark

14 篇文章 0 订阅

订阅专栏

主要步骤：

创建RDD
设置sc.setCheckpointDir路径
调用checkpoint方法
调用一下action操作

scala> sc.setCheckpointDir("hdfs://hadoop129:9000/spark_check_point_20191014_data")

scala> val data = sc.parallelize(1 to 10, 4)
data: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24

scala> data.checkpoint

scala> data.count
res3: Long = 10

scala> data.isCheckpointed
res4: Boolean = true