Spark基础（4）：当你df.cache()时，你在cache啥？

最新推荐文章于 2023-11-28 07:57:47 发布
最新推荐文章于 2023-11-28 07:57:47 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 算法·源码·API·纸上得来终觉浅 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010823625/article/details/106072678
版权

Spark源码学习系列（4）：Spark存储大揭密

Spark存储级别

存储级别描述
NONE不进行数据存储
MEMORY_ONLY存储到内存中（cache的级别）
MEMORY_AND_DISK优先存储到存储中，内存不足，磁盘存储
MEMORY_ONLY_SER将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组
MEMORY_AND_DISK_SER超出内存的分区存储到磁盘上
DISK_ONLY存储到磁盘上
MEMORY_ONLY_2 等复制副本，进行容错
OFF_HEAP存储到分布式内存文件系统中（Spark2.0之前支持）
u010823625
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Spark 判断DF为空
南风知我意
07-07 1157
我有同样的问题，并且测试了3个主要解决方案： 当然这3种有效，但是就性能而言，这是我在执行时间方面在我的机器的同一DF上执行这些方法时发现的
【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource
01-20
部分报错如下： Traceback (most recent call last):       File /home/cisco/spark-mongo-test.py, line 7, in         df = spark.read.format(com.mongodb.spark.sql.DefaultSource).load()       File /home/cisco/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/readwriter.py, line 165, in load    
Spark_Spark 中Cache的作用 以及 具体的案例
迎难而上
06-13 6629
今天模拟实现 broadcastJoin 的时候突然意识到了这个点，对 Spark 的 Cache 做个总结。 问题 在Spark中有时候我们很多地方都会用到同一个RDD, 按照常规的做法的话,那么每个地方遇到Action操作的时候都会对同一个算子计算多次。这样会造成效率低下的问题 !!!! 常见 transform , action 算子 => https://blog.csdn.net/u010003835/article/details/10...
Spark DataFrame的空值形式和空值和非空值之间的相互转换
Buevara的博客
02-21 7276
1.空值替换为其他值 建df时的空值表示形式为:null null val df = Seq("a", null, "c", "b").toDF("col1") df.show() var df4 = df.na.fill(value="qqq",Array[String]("col1")) df4.show() df: org.apache.spark.sql.DataFrame = [co...
spark的cache(),persist(),unpersist()方法及需要注意的细节
Jimmy and Zoey
11-11 9531
1 cache(), persist()和unpersist() 原文链接：Spark DataFrame Cache and Persist Explained spark中DataFrame或Dataset里的cache()方法默认存储等级为MEMORY_AND_DISK，这跟RDD.cache()的存储等级MEMORY_ONLY是不一样的。理由是重新计算内存中的表的代价是昂贵的。MEMORY_AND_DISK表示如果内存中缓存不下，就存在磁盘上。 spark的dataset类中的cache()方法内部
PySpark之Spark RDD的持久化
feizuiku0116的博客
02-09 846
一、为什么使用缓存 提升应用程序性能 容错 二、缓存函数 一、cache() 二、persist 三、缓存级别 四、释放缓存 五、什么时候缓存数据 当某个RDD被使用多次的时候，建议缓存此RDD数据 当某个RDD来之不易，并且使用不止一次，建议缓存此RDD数据 from pyspark import SparkContext, SparkConf import os import re from pyspark.storagelevel import StorageLevel os.envi
spark 缓存表的使用
LXP
11-30 3435
spark 几种缓存数据的方法1- 缓存表2-缓存结果查看3-缓存参数设置 1- 缓存表 1、cache table //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LA
【Spark】Spark cache的用法及其误区分析
beautiful_huang的博客
02-24 4177
Spark cache的用法及其误区: 一、Cache的用法注意点： （1）cache之后一定不能立即有其它算子，不能直接去接算子。因为在实际工作的时候，cache后有算子的话，它每次都会重新触发这个计算过程。 （2）cache不是一个action，运行它的时候没有执行一个作业。 （3）cache缓存如何让它失效：unpersist，它是立即执行的。persist是lazy级别的（没有计算），un...
spark cache (几种缓存方法)
热门推荐
zhuiqiuuuu的博客
02-08 4万+
例如有一张hive表叫做activity。cache表，数据放内存，数据被广播到Executor，broadcast，将数据由reduce side join 变map side join。效果都是查不多的，基本表达的都是一个意思。具体效果体现：读数据次数变小；df（dataframe）执行过一次就已经有值，不用重新执行前方获取df的过程。将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分...
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the...
spark源码：spark-master.zip
10-21
spark源码：spark-master.zip。方便不能登录GitHub的小伙伴下载。如果实在需要留言，可以私下给。
物联网与云计算：Spark基础入门.pdf
07-11
物联网与云计算：Spark基础入门.pdf
spark-streaming_2.12-3.0.0.jar
05-31
Spark 项目流 org.apache.spark/spark-streaming_2.12/3.0.0/spark-streaming_2.12-3.0.0.jar
Spark SQL,DF,RDD cache常用方式
最新发布
迎难而上
11-28 261
对于dataframe。
spark算子、DF、hive、hbase操作
lhmqy的博客
10-15 401
–使用rdd和sparkSQL业务查询 sparkSQL创建datafrom: 1.数据准备（10 分） 请在 HDFS 中创建目录/app/data/exam，并将 meituan_waimai_meishi.csv 文件传到该 目录。 –通过 HDFS 命令查询出文档有多少行数据。 hdfs dfs -cat /app/data/exam/meituan_waimai_meishi.csv | wc -l 2.使用 Spark,加载 HDFS 文件系统 meituan_waimai_meishi.csv
pyspark系列--pandas和pyspark对比
振裕
03-23 8334
目录 1. pandas和pyspark对比 1.1. 工作方式 1.2. 延迟机制 1.3. 内存缓存 1.4. DataFrame可变性 1.5. 创建 1.6. index索引 1.7. 行结构 1.8. 列结构 1.9. 列名称 1.10. 列添加 1.11. 列修改 1.12. 显示 1.13. 排序 1.14. 选择或切片 1.15. 过滤 1.16. 整合 1.17. 统计...
spark sql cache
weixin_30772105的博客
09-22 648
1.几种缓存数据的方法 例如有一张hive表叫做activity 1.CACHE TABLE //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") ...
val df1 = spark.sql("select * from a").cache() df1.unpersist() 请问能否这样写的代码能否正常释放缓存
06-10
val df1 = spark.sql("select * from a").cache() df1.unpersist() ``` 这段代码中，我们首先使用 SparkSession 对象执行了一个 SQL 查询，并对其进行了缓存。然后，我们使用 `unpersist()` 方法释放了缓存的数据。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值