第142课：Spark面试经典系列之Cache和Checkpoint

最新推荐文章于 2022-09-03 21:53:58 发布
最新推荐文章于 2022-09-03 21:53:58 发布
阅读量495 收藏 3
点赞数
分类专栏： Scala Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tom_8899_li/article/details/71214152
版权
Spark 同时被 2 个专栏收录
69 篇文章 0 订阅
订阅专栏
Scala
7 篇文章 0 订阅
订阅专栏

Spark面试经典系列之Cache和Checkpoint

1、Cache
2、Checkpoint

Cache：当我们想复用数据的时候一般都会进行Cache，在实际生产环境下复用RDD是最重要的性能优化手段之一（当然，如果能够实现优良的RDD的复用，一定是建立在同时驾驭业务和技术的基础之上的）。所谓的Cache其实是把数据经过第一次计算放在了BlockManager中。

Checkpoint：相当于Cache的备胎，Checkpoint的数据会放在容错的文件系统中，进行Checkpoint的RDD一般都会首先进行Cache来避免数据的重复计算

图142-1 Cache和Checkpoint

tom_8899_li
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据面试通关手册｜Spark面试题(一)
微信搜：import_bigdata，大数据领域硬核原创作者
05-30 2364
⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339 ⭐⭐欢迎点赞 👍 收藏 ⭐留言 📝 ，欢迎留言交流！ ⭐⭐本文由【王知无】原创，首发于 CSDN博客！ ⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ Spark 通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？ hadoop和spark使用场景？ spark如何保证宕机迅速恢复? hadoop和spark的相同点和不同点？ R.
第142课： Spark面试经典系列之Cache和Checkpoint
段智华的博客
07-11 1561
第142课：  Spark面试经典系列之Cache和Checkpoint 1 cache 2 checkpoint
cache和checkpoint的区别及使用
FlatTiger的博客
03-23 673
cache缓存的说明 RDD通过调用cache方法将前面的计算结果缓存到内存或磁盘，默认缓存到JVM内存中。 如果后面的计算还有需要此RDD的计算结果，可以直接从缓存中获取，而不用重新计算。 cache缓存不会切断原有血缘关系，只会增加血缘关系。 cache不会立即执行，当第一次遇到action算子时才会真正执行。 cache缓存不管存储到内存还是存储到磁盘，都会随着程序执行结束而销毁。 cache缓存的使用 val conf: SparkConf = new SparkConf().setAppNa
大数据面试杀招——Spark高频考点，必知必会!
大数据梦想家
10-24 4418
关于大数据面试中Spark的高频考点，快来学习!
【总结】论spark中的cache/persist/checkpoint
热门推荐
一寒惊鸿
06-23 2万+
1. cache与persist cache 能够让重复数据在同一个 application 中的 jobs 间共享。RDD的cache()方法其实调用的就是persist方法，缓存策略均为MEMORY_ONLY。 下面简单引入一下cache的机制：哪些 RDD 需要 cache？ 会被重复使用的（但不能太大）。用户怎么设定哪些 RDD 要 cache？ 因为用户只与 driver
spark 中的Cache和Checkpoint，超级受用~
贾慧玉的博客
04-27 1269
以下github上别人写的，通过问答的方式解决了很多疑问，讲的特别透彻。spark 中的Cache和Checkpoint设置检查点的意义：将计算代价较大的 RDD checkpoint 一下，这样，当下游 RDD 计算出错时，可以直接从 checkpoint 过的 RDD 那里读取数据继续算。 Cache和checkpoint的区别主要有以下两点： （2）检查点是一个job来完成的，是执行的完一
spark的cache和checkpoint的区别
wyn1175397098zt的博客
04-15 1663
要知道区别，就要首先知道实现的原理和使用的场景    cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。    checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上，他的实现原理是：                首先找打stage最后的finalRDD，然后按照RDD的依赖关系回溯，找到使用checkpoint的RDD。                然后...
Spark checkPoint Demo
01-07
import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.ReceiverInputDStream object ...
【SparkCore篇05】RDD缓存和checkpoint1
08-04
（1）创建一个RDD （2）将RDD转换为携带当前时间戳不做缓存 （3）多次打印结果 （4）将RDD转换为携带当前时间戳并做缓存 （5）多次打印做了缓存的结果，
Checkpoint:用于3DS和Switch的快速，简单的自制保存管理器
03-31
一个快速简单的自制保存管理器，用于用C ++编写的3DS和Switch。 为什么要使用Checkpoint？ 按照简单和高效的思想创建Checkpoint。 UI的设计旨在压缩尽可能多的选项，同时使其易于使用。 此外，Checkpoint极其轻巧...
spark batch checkpoint jar
12-20
spark batch checkpoint jar
Spark的checkpoint源码讲解
04-09
Spark的checkpoint源码讲解
Spark中的cache() persist() checkpoint()之间的区别
ImBetter的博客
04-20 2812
cache与persist的区别/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() /** * Set this RDD's storage level to persist its values across operations...
spark checkpoint机制简述
简单就好
11-02 4318
本文主要简述spark checkpoint机制，快速把握checkpoint机制的来龙去脉，关于源码方面可以看参考文章。 1、Spark core的checkpoint 1）为什么checkpoint？ 分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage信息常用来在task失败后重计算使用，为了防止计算失败后从头开始计算造成的大量开销，RDD会chec...
Spark面试题(二)
inner Peace的博客
09-13 6214
一、spark streaming和storm有何区别？ 一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。   二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行程序的main方法，创建sparkcontext对象。 Spark context：控制整个applica...
spark高频面试题
libaowenBlog的博客
09-03 1516
一、Spark 的运行流程？ 二、Spark 有哪些组件？ 三. Spark 中的 RDD 机制理解吗？ 四、RDD的操作分类 五、如何区分 RDD 的宽窄依赖？为什么要设计宽窄依赖？ 六、RDD 持久化原理？ 七、Checkpoint 检查点机制？ 八、Checkpoint 和持久化机制的区别？ 九、RDD中reduceBykey与groupByKey哪个性能好，为什么 十. Spark SQL 是如何将数据写到 Hive 表的？ 十一、Spark RDD转换成DataFrame的两种方式
Spark面试问题整理（持续更新中......）
林夕
08-07 1万+
Spark应用转换流程 1、spark应用提交后，经历了一系列的转换，最后成为task在每个节点上执行 2、RDD的Action算子触发Job的提交，生成RDD DAG 3、由DAGScheduler将RDD DAG转化为Stage DAG，每个Stage中产生相应的Task集合 4、TaskScheduler将任务分发到Executor执行 ...
Spark部分：checkpoint和persist，cache的区别：
wyqwilliam的博客
08-12 1145
checkpoint：是写入到文档中，默认情况下不会程序执行完毕之后不会清空，cache和persist在程序执行完毕之后会清空。
Spark cache和checkpoint
freefish_yzx的博客
08-26 1087
本文阐述了Spark中几种数据持久化方法Cache/Persist/Checkpoint的用法以及区别和联系，对于计算链条过长或者数据量较大的Spark任务有指导意义。原文来自：https://github.com/JerryLead/SparkInternals/blob/master/markdown/6-CacheAndCheckpoint.md           作为区
spark中cache persis checkpoint的区别
最新发布
04-26
在Spark中，cache、persist和checkpoint这三个操作都可以用来提高RDD的计算性能，但它们的作用并不完全相同。 cache操作是把RDD数据缓存在内存中，以便重复使用，可以提高计算速度。 persist操作跟cache操作类似，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值