spark的cache和checkpoint的区别

原创 2018年04月15日 10:44:20

要知道区别,就要首先知道实现的原理和使用的场景

    cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。

    checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上,他的实现原理是:

                首先找打stage最后的finalRDD,然后按照RDD的依赖关系回溯,找到使用checkpoint的RDD。

                然后标记这个checkpoint的RDD

                重新启动一个线程将checkpoint之前的RDD缓存到HDFS上面。

                最后RDD的依赖关系从checkpoint的位置切断

  为了更好提高spark的性能。可以在使用checkpoint之前,先cache一下。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wyn1175397098zt/article/details/79947241

spark实战

-
  • 1970年01月01日 08:00

spark中的cache() persist() checkpoint()之间的区别

cache()与persist(): 会被重复使用的(但是)不能太大的RDD需要cache。cache 只使用 memory,写磁盘的话那就叫 checkpoint 了。 哪些 RDD 需要 che...
  • ljp812184246
  • ljp812184246
  • 2016-12-27 17:51:54
  • 6219

Spark的cache与checkpoint优化

1.SPARK中一些通用的或者重要的RDD最好是做一个cache缓存,缓存到内存或者硬盘中,这样下次用到这个RDD数据的时候就不用从头开始计算了,直接从缓存读取即可! 2由于某种原因也可能我们用ca...
  • king_a_123
  • king_a_123
  • 2016-12-05 20:37:14
  • 811

【总结】论spark中的cache/persist/checkpoint

1. cache与persist cache 能够让重复数据在同一个 application 中的 jobs 间共享。RDD的cache()方法其实调用的就是persist方法,缓存策略均为MEM...
  • dengxing1234
  • dengxing1234
  • 2017-06-23 20:11:33
  • 17758

第142课: Spark面试经典系列之Cache和Checkpoint

第142课:  Spark面试经典系列之Cache和Checkpoint 1 cache 2 checkpoint
  • duan_zhihua
  • duan_zhihua
  • 2016-07-11 20:52:18
  • 880

spark cache和checkpoint

spark非常的块
  • duguxuan
  • duguxuan
  • 2014-12-15 19:53:21
  • 132

每次进步一点点——spark中cache和persist的区别

昨天面试被问到了cache和persist区别,当时只记得是其中一个调用了另一个,但没有回答出二者的不同,所以回来后重新看了源码,算是弄清楚它们的区别了。cache和persist都是用于将一个RDD...
  • houmou
  • houmou
  • 2016-09-09 23:35:34
  • 17326

Cache-Persist-Checkpoint 的区别

cache()与persist()的区别会被重复使用的但是不能太大的RDD需要cache, cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而...
  • lumingkui1990
  • lumingkui1990
  • 2017-03-30 11:06:42
  • 220

七个pdf理解spark系列_6-CacheAndCheckpoint

  • 2017年07月02日 11:42
  • 1.92MB
  • 下载

spark学习-checkpoint和持久化的区别

checkpoint和持久化的区别:1.持久化只是将数据保存在BlockManager中,而RDD的lineage是不变的。但是checkpoint执行完后,RDD已经没有之前所谓的依赖RDD了,而只...
  • ymcz1987
  • ymcz1987
  • 2018-03-15 11:14:08
  • 41
收藏助手
不良信息举报
您举报文章:spark的cache和checkpoint的区别
举报原因:
原因补充:

(最多只允许输入30个字)