Spark基础（4）：当你df.cache()时，你在cache啥？

最新推荐文章于 2022-08-31 17:20:15 发布
最新推荐文章于 2022-08-31 17:20:15 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 算法·源码·API·纸上得来终觉浅 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010823625/article/details/106072678
版权
本文探讨Spark中的存储级别，重点解析`df.cache()`操作。了解如何通过缓存优化数据处理流程，提升Spark作业的性能。
摘要由CSDN通过智能技术生成

Spark源码学习系列（4）：Spark存储大揭密

Spark存储级别

存储级别描述
NONE不进行数据存储
MEMORY_ONLY存储到内存中（cache的级别）
MEMORY_AND_DISK优先存储到存储中，内存不足，磁盘存储
MEMORY_ONLY_SER将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组
MEMORY_AND_DISK_SER超出内存的分区存储到磁盘上
DISK_ONLY存储到磁盘上
MEMORY_ONLY_2 等复制副本，进行容错
OFF_HEAP存储到分布式内存文件系统中（Spark2.0之前支持）
u010823625
关注
专栏目录
订阅专栏
Spark中持久化cache算子详解介绍
CSDN 精品推荐
08-19 299
函数用于将RDD或Dataset的计算结果存储在集群的内存中，以便于后续的操作可以重用这些数据，而不需要重新计算。这大大提高了迭代计算的效率，特别是对于迭代算法和重复数据访问的场景。这可能意味着改变你的工作流，以便在缓存之前过滤掉不需要的数据。如果你的工作负载真的需要大量的缓存，并且优化工作流以减少缓存的大小不可行，那么增加集群的内存是一个明智的选择。通过上述策略和选项的合理组合和应用，可以更灵活地管理Spark作业的内存使用，减缓或解决内存不足的问题。使用更紧凑的数据结构，这可以减少每条记录的内存占用。
Spark性能优化研究--cache的用法
fengkuang的一亩三分地
07-23 2569
Spark性能优化研究–cache的用法 背景 最近在用spark训练模型，数据量达到了50亿量级，遇到了很多性能问题，特此进行了试验总结。我们使用cache或者persist内存持久化的目的，是为了在以后的数据计算中减少数据读取的时间，当要处理的数据量过大时，比如50亿级，常常会遇到内存不够，或者cache所需时间过长的问题。cache会破坏spark在做DAG优化执行计划的时候的数据本...
spark的cache(),persist(),unpersist()方法及需要注意的细节
Jimmy and Zoey
11-11 1万+
1 cache(), persist()和unpersist() 原文链接：Spark DataFrame Cache and Persist Explained spark中DataFrame或Dataset里的cache()方法默认存储等级为MEMORY_AND_DISK，这跟RDD.cache()的存储等级MEMORY_ONLY是不一样的。理由是重新计算内存中的表的代价是昂贵的。MEMORY_AND_DISK表示如果内存中缓存不下，就存在磁盘上。 spark的dataset类中的cache()方法内部
spark中cache()、persist()、checkpoint()解析
微信公众号：一颗向上的草莓
05-03 470
Spark对RDD的持久化操作(cache()、persist()、checkpoint())是很重要的，可以将rdd存放在不同的存储介质中，方便后续的操作能重复使用。 cache() persist() cache和persist都是用于将一个RDD进行缓存，这样在之后使用的过程中就不需要重新计算，可以大大节省程序运行时间。 cache和persist的区别：cache只有一个默认的缓存级...
jdbc mysql 自定义函数_【SparkSQL】在IDEA中使用、创建DF、DF的操作(cache)、自定义函数、DF外部数据源(自定义)、DF与DS转换、DF/DS/RDD的区别、Catalo...
weixin_39604139的博客
02-26 631
目录一、在IDEA中使用SparkCore的入口是SparkContextSpark SQL的入口是SparkSession,SparkSession的底层实际上也是SparkContext。1)pom中加入依赖：2.11.82.6.52.4.0org.scala-langscala-library${scala.version}org.apache.hadoophadoop-client${ha...
PySpark之Spark RDD的持久化
feizuiku0116的博客
02-09 933
一、为什么使用缓存 提升应用程序性能 容错 二、缓存函数 一、cache() 二、persist 三、缓存级别 四、释放缓存 五、什么时候缓存数据 当某个RDD被使用多次的时候，建议缓存此RDD数据 当某个RDD来之不易，并且使用不止一次，建议缓存此RDD数据 from pyspark import SparkContext, SparkConf import os import re from pyspark.storagelevel import StorageLevel os.envi
【Spark】Spark cache 报错 Exception thrown in awaitResult
九师兄
05-13 2298
写了一段代码，如下，但是运行的时候，时不时报错错误如下java.lang.OutOfMemoryError: Java heap space 错误，这通常意味着在 Spark 应用程序执行过程中，JVM 的堆内存不足以容纳所有数据，导致了内存溢出错误。你调用了 cache() 方法试图缓存 DataFrame 或 RDD 的结果，但是由于数据集的大小超出了分配给 Spark Executor 的内存，导致了内存溢出错误。
spark:清空程序运行时的所有（cache）缓存块
善皮之的博客
03-03 6488
spark:清空程序运行时的所有（cache）缓存块 为啥要用到缓存   在我们编写spark程序的时候，经常会用到action算子，当程序执行到action操作的代码时，开始真正地执行计算，这个时候耗时比较长。然而，当我们程序里面的action算子计算出来的需要被多次使用的时候，为了不在让程序重复再次计算。将这个action算子计算的结果进行persist或者cache（缓存）的操作，可以节省程...
pyspark常用语法
doswynkfsw的博客
08-31 1532
大数据处理快速上手spark要点。
spark 缓存表的使用
LXP
11-30 3681
spark 几种缓存数据的方法1- 缓存表2-缓存结果查看3-缓存参数设置 1- 缓存表 1、cache table //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LA
【Spark】Spark cache的用法及其误区分析
beautiful_huang的博客
02-24 4468
Spark cache的用法及其误区: 一、Cache的用法注意点： （1）cache之后一定不能立即有其它算子，不能直接去接算子。因为在实际工作的时候，cache后有算子的话，它每次都会重新触发这个计算过程。 （2）cache不是一个action，运行它的时候没有执行一个作业。 （3）cache缓存如何让它失效：unpersist，它是立即执行的。persist是lazy级别的（没有计算），un...
spark cache (几种缓存方法)
zhuiqiuuuu的博客
02-08 4万+
例如有一张hive表叫做activity。cache表，数据放内存，数据被广播到Executor，broadcast，将数据由reduce side join 变map side join。效果都是查不多的，基本表达的都是一个意思。具体效果体现：读数据次数变小；df（dataframe）执行过一次就已经有值，不用重新执行前方获取df的过程。将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分...
pyspark开发总结笔记
whiterbear的专栏
11-29 1904
本文记录spark开发过程中遇到的小知识点，使用pyspark开发，由于使用大多数场景为DataFrame，介绍也多为DataFrame。本文比较长，在学习过程中摘了一些博客和资料，如果有描述的不对的地方请指出。 Spark是分布式内存计算，能够依据各类操作创建一个计算DAG图，数据通过DAG处理后生成结果。 对spark的数据操作分为两类，一类是转换（transformation）操作，比如Fi...
android通过webservice连接SQL数据库（二）客户端
superSmart_Dong的博客
05-12 3224
上文写好了Webservice并且可以通过自己写的接口成功操作SQLsever，接下来就要完成客户端与服务器端的交流，获取数据转化成XML文件传给客户端。要想让客户端与服务器端进行交流必须满足几个前提： 1、Webservice调试成功并且能访问数据库。 2、成功发布Webservice与本地IIS，并且能够在IIS上浏览网站 3、手机（同网络）能够访问网站。 AndroidStu
Spark 持久化（cache和persist的区别）
主要分享大数据相关的知识，如Spark、Hudi
06-20 2万+
转载请务必注明原创地址为：https://dongkelun.com/2018/06/03/sparkCacheAndPersist/ 1、RDD 持久化 Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据......
常用PySpark API（二）： partitionBy, cache, mapValues, sortBy的简单用法
tensory的博客
07-04 1万+
0. PairRDD的意思PairRDD就是元素为键值对的List转化过来的RDD对象，例如rdd_1就是一般的非pairRDD，rdd_2为pairRDD，这只是一种叫法
spark dataframe操作集锦（提取前几行，合并，入库等）
热门推荐
大数据挖掘SparkExpert的博客
04-02 9万+
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。
val df1 = spark.sql("select * from a").cache() df1.unpersist() 请问能否这样写的代码能否正常释放缓存
最新发布
06-10
val df1 = spark.sql("select * from a").cache() df1.unpersist() ``` 这段代码中，我们首先使用 SparkSession 对象执行了一个 SQL 查询，并对其进行了缓存。然后，我们使用 `unpersist()` 方法释放了缓存的数据。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值