![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
yunqiublog
这个作者很懒,什么都没留下…
展开
-
spark cache
cache原创 2019-03-11 22:35:39 · 530 阅读 · 0 评论 -
spark checkpoint
checkpoint 前提条件 迭代计算,要求保证数据安全 对速度要求不高(跟cache到内存进行对比) 将中间结果保存到hdfs 步骤: 设置checkpoint目录(分布式文件系统的目录hdfs目录)sc.setCheckpointDir(“hdfs://s201:9000/ck2019”) 经过复杂进行,得到中间结果 将中间结果checkpoint到指定的hdfs目录 后续的计算,就...原创 2019-03-12 22:10:08 · 213 阅读 · 0 评论