本文探讨了在Spark中进行checkpoint操作的原因，包括确保数据安全性、方便集群间共享及缓存优化。建议将checkpoint位置设为HDFS，并在shuffle操作后执行。实践步骤包括设置checkpoint目录、缓存数据及执行checkpoint。通过实例展示了启动Spark Shell、配置目录、读取文件、缓存、checkpoint及collect的流程。
为什么要做checkpoint？
1.运行出的中间结果往往很重要，所以为了保证数据的安全性，要checkpoint
2.最好把checkpoint到hdfs中，这样便于该集群所有的节点访问到
3.在checkpoint之前最好先cache一下，这样先把数据放到缓存中。便于运行任务的调用，也便于在checkpoint的时候直接从缓存拿到数据
在什么时候做checkpoint？
在发生shuffle之后做checkpoint
checkpoint步骤：
1.建立checkpoint存储目录
sc.setCheckpointDir("hdfs://Master4:9000/ck0001")
2.rdd1.cache()
3.rdd1.checkpoint()
事例测试：
1、启动spark-shell
|
2.设置checkpoint目录
|
3.读取wc目录下的文件，统计词频<
最低0.47元/天 解锁文章
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
