cache和pesist的区别与联系

最新推荐文章于 2024-06-18 16:10:07 发布
最新推荐文章于 2024-06-18 16:10:07 发布
阅读量824 收藏
点赞数
分类专栏： spark 文章标签： cache persist
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36770189/article/details/97131191
版权

cache
    默认是将数据存放到内存中，懒执行
    def cache(): this.type = persist()
persist
    可以指定持久化的级别。
    最常用的是MEMORY_ONLY和MEMORY_AND_DISK。
    ”_2”表示有副本数。尽量避免使用_2和DISK_ONLY级别
cache和persist的注意点
    1.都是懒执行（有的叫延迟执行），需要action触发执行，最小单位是partition
    2.对一个RDD进行cache或者persist之后，下次直接使用这个变量，就是使用持久化的数据
    3.如果使用第二种方式，不能紧跟action算子

有风微冷
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RDD中cache和persist的区别
weixin_34115824的博客
06-21 175
通过观察RDD.scala源代码即可知道cache和persist的区别： def persist(newLevel: StorageLevel): this.type = { 　　if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) { 　　　　throw new Unsuppor...
Spark RDD的缓存 rdd.cache() 和 rdd.persist()
sunspeedzy的博客
04-04 1万+
RDD的缓存级别顺便看一下RDD都有哪些缓存级别，查看 StorageLevel 类的源码：object StorageLevel { val NONE = new StorageLevel(false, false, false, false) val DISK_ONLY = new StorageLevel(true, false, false, false) val DISK_ON
cache/persist/checkpoint区别
阅后即焚
01-11 694
cache和persist的区别 基于Spark 1.4.1 的源码，可以看到 /** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() 说明是cache()调用了persist(), 想要知道二者的不同还需要看一下persist函数： /*...
【Spark系列5】cache和persist的区别
安全曼巴2020
08-29 933
通过观察RDD.Scala源代码即可知道cache和persist的区别： def persist(newLevel: StorageLevel): this.type = { 　　if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) { 　　　　throw new UnsupportedOp
Cache与persist区别
Q1472862538的博客
03-22 737
Cache底层调用的是persist方法，存储等级为memory only Persist与Cache的主要区别是persist可自定义存储级别StorageLevel。Cache只使用memory only。 MEMORY_ONLY：只存在内存中; DISK_ONLY：只存在磁盘中； MYMORY_AND_DISK：先存在内存中，内存不够的话存入到磁盘中； OFF_HEAP：存在堆外内存中； 总...
大数据（spark）面试
m0_45131615的博客
03-04 416
第7章Spark 7.1 sparksql 和 sparkstreaming哪个比较熟 答：都还行，SparkSql 的 DataFrame 或者 DataSet 和 SparkStreaming 的 DStream 都是基于SparkCore 的，最终都会转化为 Sparktask 执行。我们可以交流一下本质的东西 SparkCore，而SparkCore 的核心又是 RDD。 7.2 说一下 ...
spark精华面试题
allure
01-10 259
spark精华面试题 1、driver的功能是什么？ 1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。 ...
Spark面试题
qq_37165724的博客
09-07 2992
Spark面试题（一） 1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 1）本地模式   Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类   local：只启动一个executor   local[k]:启动k个executor   local[*]：启动跟cpu数目相同的 executor 2）standalone模式   分布式部署集群，自带完整的服务，资源管理和任务监控是Sp
Spark考试题总结
XIAOMO__的博客
10-12 2万+
一.选择判断 1.单选 下面哪个不是 RDD 的特点 ( ) A.可分区 B.可序列化 C.可修改 D.可持久化 关于累加器，下面哪个是错误的 ( ) A.支持加法 B.支持数值类型 C.可并行D.不支持自定义类型 Scala语言中，以下说法正确的是（） A.常量和变量都可以不用赋初始值 B.常量需要赋初始值，变量可以不用赋初始值C.常量和变量都需要赋初始值 D.常量不需要赋初始值，变量必须赋初始值 下面对MapReduce描述错误的是( ) A. 适合离线批处理 B. 具有很好的容...
2024大数据面试题汇总(完善中。。。)
最新发布
为人性僻 语不惊人
06-18 1106
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
cache和persist区别
weixin_39950222的博客
09-20 1683
cache()是persist()的特例，persist可以指定一个StorageLevel(缓存级别) cache的缓存级别是memory_only 区别就是cache默认是在内存中存储的，而persist可以设置存储的级别： 如何选择一种最合适的持久化策略 默认情况下，性能最高的当然是MEMORY_ONLY，但前提是你的内存必须足够足够大，可以绰绰有余地存放下整个RDD的所有数据。...
每次进步一点点——spark中cache和persist的区别
热门推荐
housir的专栏
09-09 4万+
昨天面试被问到了cache和persist区别，当时只记得是其中一个调用了另一个，但没有回答出二者的不同，所以回来后重新看了源码，算是弄清楚它们的区别了。cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。
Spark core中的cache、persist区别，以及缓存级别详解
05-23 3837
概述 本次我们将学习Spark core中的cache操作以及和 persist的区别。首先大家可能想到的是cache到底是什么呢？他有什么作用呢？我们可以带着这两个问题进行下面的学习。 本文结构： 1. cache的产生背景 2. cache的作用 3. 源码解析cache于persist的区别，以及缓存级别详解 1 cache的产生背景 我们先做一个简单的测试读取一个本地文件做一...
Spark 持久化（cache和persist的区别）
主要分享大数据相关的知识，如Spark、Hudi
06-20 2万+
转载请务必注明原创地址为：https://dongkelun.com/2018/06/03/sparkCacheAndPersist/ 1、RDD 持久化 Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据......
cache和persist的区别
秋雨ヾ的博客
05-28 1150
RDD的cache和persist的区别 cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。 在使用中一直使用RDD.cache()，系统的学习之后发现还有一个与cache功能类似看起来冗余的persist 点进去之后发现cache()是persist()的特例，persist可以指定一个StorageLevel。StorageLevel的列表可以在StorageLevel 伴生单例对象中找到： cache的源码： /** Pers
Spark中cache和persist的作用以及存储级别
allen的博客
07-27 3万+
在Spark中有时候我们很多地方都会用到同一个RDD, 按照常规的做法的话,那么每个地方遇到Action操作的时候都会对同一个算子计算多次,这样会造成效率低下的问题例如:val rdd1 = sc.textFile("xxx") rdd1.xxxxx.xxxx.collect rdd1.xxx.xxcollect上面就是两个代码都用到了rdd1这个RDD,如果程序执行的话,那么sc.textFile
大数据面试题集锦(一)
Zonzereal的博客
04-14 3798
1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？ 答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务...
cache与persist区别
zh_liuanhuaming的博客
06-25 351
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 cache只...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值