spark的持久化 persist

最新推荐文章于 2024-05-23 10:59:51 发布
最新推荐文章于 2024-05-23 10:59:51 发布
阅读量338 收藏
点赞数
分类专栏： spark 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43662454/article/details/84791444
版权
大数据 同时被 3 个专栏收录
14 篇文章 0 订阅
订阅专栏
hadoop
10 篇文章 0 订阅
订阅专栏
spark
6 篇文章 0 订阅
订阅专栏

memory_only
使用未序列化的Java对象格式，将数据保存在内存中。

memory_and_disk
使用未序列化的Java对象格式,优先尝试将数据保存在内存中,如果内存不够存放所有的数据,会将数据写入磁盘文件汇总,下次对这个RDD执行算子是,持久化在磁盘文件中的数据会被读取出来使用.

memory_only_ser
基本含义同memory_only,唯一的区别是,会将RDD中的数据进行序列化,RDD的每个partition会被序列化成一个字节数组,这种方式更加节省内存,从而可以避免持久化的数据占用过多内存导致频繁GC

memory_and_disk_ser
基本含义同memory_and_disk,唯一的区别是,会将RDD中的数据进行序列化,RDD的每个partition会被序列化成一个字节数组,这种方式更加节省内存,从而可以避免持久化的数据占用过多内存导致频繁GC

disk_only
使用未序列化的java对象格式,将数据全部写入磁盘文件中,

memory_only_2,momory_and_disk_2,
对于上述任意一种持久化策略,如果加上后缀_2,代表的是将每个持久化的数据,都复制一份副本,保存到节点上

weixin_43662454
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark持久化
weixin_41812379的博客
10-31 306
假设我们在对RDD进行转化的时候，需要用同一个RDD得到两个结果，如下面代码所示。 val rdd = sparkContext.makeRDD(List( ("a",1),("a",2),("c",3), ("b",4),("c",5),("c",6) ),1) val rdd1 = rdd.map(x => { (x._1, x._2 + 1) }) val reduceRDD = rdd1.reduceB
大数据Spark面试题汇总
04-12
10. **Spark持久化**： - 在内存压力大或希望防止重计算时，使用`persist()`或`cache()`操作。 - 可选择不同的持久化级别，如Memory-Only、Memory-and-Disk等。 11. **Join操作优化**： - 减小join数据量：...
Spark持久化策略
weixin_30894389的博客
03-12 108
spark持久化策略_缓存优化persist、cache都是持久化到内存缓存策略 StorageLevel_useDisk：是否使用磁盘_useMemory：是否使用内存_useOffHeap：不用堆内存，找tackyon_deserialized：不序列化（序列化可理解为压缩，节省内存磁盘空间，但是消耗CPU）_replication：副本数量 默认1份 默认持久化：只持久化到...
Spark-RDD-持久化详解
喻师傅的学习笔记
05-23 1165
Spark-RDD-持久化详解
Spark 入门 RDD 持久化
SmartSi
06-16 2831
1. 概述Spark中最重要的功能之一是操作时在内存中持久化(缓存)数据集(persisting (or caching) a dataset in memory across operations)。当我们让Spark持久化存储一个RDD时，每个节点都会将其计算的任何分区存储在内存中，并将其重用于该数据集（或从其派生的数据集）的其他行动操作(each node stores any partit
Spark persist 持久化
chilai4545的博客
08-18 242
持久化算子可以将计算结果保存起来， 不必重新计算。 相关源码 持久化算子cache, persist, unpersist源码如下： /** * Persist this RDD with the default storage level (`MEMORY_ONLY`...
spark的持久化
QiuYang18的博客
11-30 586
spark的持久化 cache persisit checkpoint 以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。 1. cache 默认将RDD的数据持久化到内存中。cache是懒执行。 注意：cache () ...
Spark 练习题-数据
最新发布
06-26
4. **数据加载与持久化** Spark可以读取各种数据源，如HDFS、Cassandra、HBase等。`SparkSession.read`接口用于加载数据，支持多种格式如CSV、JSON、Parquet、ORC等。数据加载后，可以使用`cache`或`persist`进行...
Spark_资源调优1
08-03
二是缓存数据，如使用`cache/persist`持久化数据，这取决于所选的持久化级别；三是用于Shuffle操作，存储拉取的相同key以便聚合。 资源调优主要包括以下几个方面： 1. **Executor数量和内存**：增加Executor数量...
Spark_开发调优1
08-03
5. **缓存策略**：根据数据访问模式选择合适的持久化级别，如MEMORY_ONLY、MEMORY_AND_DISK等。对于频繁访问的数据，合理使用缓存可以减少重复计算，提高效率。 **数据倾斜调优** 数据倾斜是Spark作业中常见的性能...
spark调优.rar
12-12
`cache()`或`persist()`方法可以将数据持久化到内存或磁盘，减少重复计算。使用合适的存储级别（如MEMORY_ONLY、MEMORY_AND_DISK等）可以平衡内存使用和容错性。 4. **内存管理**：Spark默认采用堆内内存管理，但可...
spark Core RDD持久化详解
03-23
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。
Spark---持久化
大呱的博客
03-31 959
Spark---持久化之缓存和检查点
spark 持久化机制入门
鸭梨的博客
11-20 460
持久化作原因及用途 Spark最重要的功能之一是跨操作在内存中持久化（或缓存）数据集。当您持久化RDD时，每个节点都将它计算的所有分区存储在内存中，并在该数据集（或从该数据集派生的数据集）上的其他操作中重用这些分区。这使得未来的行动更快（通常是10倍以上）。缓存是迭代算法和快速交互使用的关键工具。 可以使用persist（）或cache（）方法将RDD标记为持久化。第一次在action中计算它时，它将保存在节点上的内存中。Spark的缓存是容错的——如果RDD的任何分区丢失，它将自动使用最初创建它的转换重新
Spark RDD持久化
baidu_36399851的博客
04-29 1239
1、RDD性质 RDD数据是过程数据，即计算得到后一个RDD时，前一个RDD就会被释放。如图就是当RDD4被计算出来RDD3就会被释放。 2、为什么要持久化呢？ 如图，一个应用程序中存在两个collect，中间链路都调用了RDD3，可是在第一个collect执行完时，由于RDD时过程数据，RDD3已经被释放，所以执行第二个collect需要重新计算RDD1、RDD2、RDD3，这样就浪费资源。为了避免重新计算RDD3，则对RDD3进行持久化。 3、RDD持久化方法 rdd3.cache()
spark RDD持久化
yiluohan0307的专栏
04-23 722
spark RDD持久化 简介 spark是分布式基于内存的数据处理引擎，它的一个基本功能是将RDD持久化到内存中。巧妙使用RDD持久化，甚至在某些场景下，可以将spark应用程序的性能提升10倍。对于迭代式算法和快速交互式应用来说，RDD持久化，是非常重要的。 cache和persist spark有cache和persist两种方持久化方法。 # RDD.scala部分源...
Learning Spark笔记5-持久化（缓存）
zhuziying99的专栏
04-26 318
持久化（缓存） 之前讨论过，Spark RDDs是lazily evaluated，我们可能会多次使用同一个RDD。如果这样做的话，每次在RDD上调用一个动作时，Spark都将重新计算RDD以及它的所有依赖。对于迭代算法就特别的耗费资源，下面是一个计数的例子。 Example 3-39. Double execution in Scala val result = i
Spark持久化详解
醉与浮的博客
11-21 1285
spark持久化详解
Spark RDD之数据持久化
qq_44378386的博客
04-27 417
Spark的RDD持久化操作详解
spark 的持久化存储
06-08
Spark的持久化存储可以通过将...在使用Spark时，可以通过cache()或persist()方法将RDD或DataFrame数据持久化到内存或磁盘中。如果不再需要持久化的数据，可以使用unpersist()方法将其从内存或磁盘中移除，以释放资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值