Spark缓存-cache

最新推荐文章于 2025-05-16 14:32:30 发布
最新推荐文章于 2025-05-16 14:32:30 发布
阅读量283 收藏
点赞数 2
文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85414079/article/details/147917261
版权

 

一、RDD持久化

1.什么时候该使用持久化（缓存）

2. RDD cache & persist 缓存

3. RDD CheckPoint 检查点

4. cache & persist & checkpoint 的特点和区别

特点

区别

 二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别：

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/2401_83378805/article/details/147915471

【大数据学习 | Spark-Core】RDD的缓存(cache and checkpoint)
2301_80912559的博客
11-23 1306
首先存储到直接内存中，可以使得jvm的内存使用量减少，效率更高，但是比较危险，jvm中存在GC，可以清空垃圾，但是如果使用直接内存的话，垃圾多了我们可以删除，但是如果应用程序异常退出，这个时候内存是没有人可以管理的。仅内存并且是序列化的方式 _deserialized = true，将存储的jvm中的对象进行二进制byte[]，存储起来，以内存的方式，序列化完毕的数据更能够减少存储空间。先以内存为主，然后再使用磁盘，存储空间不够不会报错，会存储一部分数据，可以不序列化，不序列化指的时候内存的部分。
Spark Core -- CheckPoint && Cache && Lineage血统
加油
10-18 131
Spark中解决节点失效、数据丢失等问题时采用的一种机制或方案 为了保证RDD 中数据的鲁棒性，RDD数据集通过所谓的血统关系(Lineage)记住了它是如何从其它RDD中演变过来的。因为Spark中对每一个RDD执行的算子操作的时候，都需要从数据源头计算一遍，就会导致RDD被重复计算，浪费资源，消耗时间，影响整体的性能。2、对于内存放不下：可以使用MEMORY_AND_DISK_SER,因为该模式可以对数据进行序列化，对数据具有一定的压缩的作用。RDD的Lineage记录的是粗粒度的。
spark缓存-cache
2301_81908848的博客
05-09 95
【代码】spark缓存-cache。
spark缓存--cache和persist
2301_80781830的博客
05-14 614
println("第二次计算消耗的时间：" + (endTime1 - startTime1) + "毫秒")println("第一次计算消耗的时间："+(endTime-startTime)+"毫秒")//persist()方法可以指定缓存的级别。//第一次出发行动算子，计算并统计消耗的时间。//第二次出发行动算子，计算并统计消耗的时间。// cache是persist的特殊情况。//创建一个包含大量随机数的RDD。//定义一个复杂的转换函数。//spark的缓存。
spark缓存--cache和persist（转）
最新发布
2301_81657245的博客
05-16 270
原文链接：https://blog.csdn.net/2301_80781830/article/details/147940141。println("第二次计算消耗的时间：" + (endTime1 - startTime1) + "毫秒")println("第一次计算消耗的时间："+(endTime-startTime)+"毫秒")//persist()方法可以指定缓存的级别。//第一次出发行动算子，计算并统计消耗的时间。//第二次出发行动算子，计算并统计消耗的时间。//spark的缓存。
Spark缓存--cache方法
lhhongbi的博客
05-14 378
简化的 persist()：cache() 是 persist(StorageLevel.MEMORY_ONLY) 的快捷方式，将数据以反序列化对象的形式存储在内存中。惰性操作：调用 cache() 后，数据不会立即缓存，只有在首次触发行动操作（如 count(), show(), collect()）时才会执行缓存。存储级别：默认使用 MEMORY_ONLY，若内存不足，未缓存的分区会在后续需要时重新计算。首次计算：当首次触发行动操作时，Spark 根据血缘执行计算，并将结果按分区缓存在内存中。
Spark缓存---cache方法
2401_83374554的博客
05-14 497
简化的 persist()：cache() 是 persist(StorageLevel.MEMORY_ONLY) 的快捷方式，将数据以反序列化对象的形式存储在内存中。惰性操作：调用 cache() 后，数据不会立即缓存，只有在首次触发行动操作（如 count(), show(), collect()）时才会执行缓存。println(s"spark.local.dir 的值: ${conf.get("spark.local.dir")}")后续复用：后续操作直接读取缓存数据，跳过血缘中的计算步骤。
Spark--cache/persist设置缓存
小兔子乖乖
05-13 749
设置缓存设置缓存的作用cachepersist 设置缓存的作用 cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间 cache和persist的区别：cache只有一个默认的缓存级别MEMORY_ONLY ，而persist可以根据情况设置其它的缓存级别。 cache 缓存RDD，缓存级别为仅在内存中 cache方法实际上调用了无参数的persist方法，cache只有一个默认的缓存级别MEMORY_ONLY val
Spark缓存--RDD缓存
2402_87106544的博客
05-15 126
第二次调用collect时，因为之前已经调用了cache方法，并且结果已被缓存，所以不需要再次执行计算，直接从缓存中读取数据。通过对比两次计算的耗时，可以明显发现第二次计算耗时会远小于第一次（在数据量较大或计算复杂时效果更显著），这就体现了cache方法缓存计算结果、避免重复计算、提升后续操作速度的作用。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这就是没有缓存的效果。时，该RDD将会被缓存在计算节点的内存中，并供以后重用。
Spark缓存-persist
2403_87257611的博客
05-13 102
【代码】Spark缓存-persist。
SPARK--cache(缓存)和checkpoint检查点机制
中长跑路上的crush
01-13 765
也是将中间rdd数据存储起来，但是存储的位置实时分布式存储系统，可以进行永久保存，程序结束不会释放。缓存是将数据存储在内存或者磁盘上，缓存的特点时，计算结束，缓存自动清空。如果需要删除就在hdfs上删除对应的目录文件。
spark2-python
03-30
- 可以通过`persist()`或`cache()`方法缓存RDD或DataFrame，提高重用时的性能。 - 多种持久化级别，如`MEMORY_ONLY`、`MEMORY_AND_DISK`，甚至可以使用序列化策略优化内存占用。 7. **错误处理和调试**： - ...
spark -- RDD的持久化/缓存
kismet
04-08 876
RDD的持久化/缓存 在实际开发中某些RDD的计算或转换可能会比较耗费时间，如果这些RDD后续还会频繁的被使用到，那么可以将这些RDD进行持久化/缓存，这样下次再使用到的时候就不用再重新计算了，提高了程序运行的效率 持久化/缓存API详解 ●persist方法和cache方法 RDD通过persist或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后...
Elasticsearch 分词与字段类型（keyword vs. text）面试题
真实的菜的博客
05-16 852
👉 查看参考答案通过analyzer和"my_analyzer": { // 自定义分词器},"analyzer": "my_analyzer", // 写入时分词"search_analyzer": "simple" // 搜索时分词（可选）写入时：“Hello World” →（移除停用词并小写）搜索时：若使用 simple 分词器，查询词也会被简单拆分keyword：精确值、聚合、排序，不分词 🎯text：全文检索，写入时分词，搜索时按分词匹配 🔎关键区别。
rabbitmq
weixin_46520767的博客
05-14 858
你可以把这个队列想象成一个停车场，只不过这个停车场是先进先出的，先来的车停在前面。这里的 "阻塞" 的意思是，如果停车场是空的，想要从里面取车的车辆（后面的处理逻辑）会一直等待，直到有车开进来。想象一下这样的场景：用户创建了一个订单，但是过了一段时间（比如 15 秒）没有付款，我们希望自动取消这个订单。这个方法应该会执行实际的取消订单的逻辑，比如更新数据库中的订单状态等等。当 15 秒的延迟时间到了，Redisson 内部的机制会将之前放入延迟队列的订单 ID 取出来，并把它放回。这个队列中取出一个元素。
SparkSQL操作Mysql
2301_82309776的博客
05-13 683
SparkSQL 提供了强大的功能来连接和操作 MySQL 数据库，支持读取数据、写入数据以及执行 SQL 查询。下面将详细介绍如何使用 SparkSQL 与 MySQL 进行交互，并提供完整的代码示例。，并将 JAR 文件添加到 Spark 的 classpath 中。在创建 SparkSession 时，通过。
安装Hadoop并运行WordCount程序
2401_84653595的博客
05-12 1069
安装hadoop时，它自带了很多的示例代码，其中有一个是用来统计词频的程序，下面我们来看一下如何去运行这个示例代码。在任意目录下，运行 java -version，如果能看到以下结果，则代表Java安装成功。使用cd命令进入到opt/software目录，再使用ls命令，查看是否已经上传成功。使用的命令是： vi /etc/profile.d/my_env.sh。（1）新建/etc/profile.d/my_env.sh文件。打开/etc/profile.d/my_env.sh文件。注意，后面我们会按照。
MQ消息队列的深入研究
weixin_50055999的博客
05-14 1074
前言消息队列（Message Queue，简称 MQ）是一种用于在分布式系统中实现异步通信的技术。它提供了一个可靠的机制，可以在应用程序或服务之间传递消息，以提高系统的如下图所示：Apache Kafka、RabbitMQ、RocketMQ 和 ActiveMQ 是流行的消息队列解决方案，它们在架构设计、性能、特性和适用场景上各有不同。
Spark k-v结构转换，Spark 数据缓存，spark数据封装逻辑，spark日期处理机制的知识点
05-31
好的，我分别回答您提出的四个问题： 1. Spark k-v结构转换 在Spark中，我们可以使用 `map()`、`flatMap()`、`filter()` 等操作对RDD进行转换。如果我们的数据结构是k-v结构，我们可以使用 `mapValues()`、`flatMapValues()`、`keys()`、`values()` 等操作对key和value进行单独的转换，而不影响另一部分。 例如，我们有一个k-v结构的RDD，其中key是字符串类型，value是整数类型。我们可以使用以下代码将value加1： ``` val rdd: RDD[(String, Int)] = ??? val result: RDD[(String, Int)] = rdd.mapValues(_ + 1) ``` 2. Spark 数据缓存 当我们在Spark中进行复杂计算时，通常会对中间结果进行缓存，以避免重复计算。Spark提供了两种缓存级别，即内存缓存和磁盘缓存。 我们可以使用 `cache()` 或 `persist()` 方法对RDD进行缓存。默认情况下，Spark将RDD缓存在内存中，但如果内存空间不足，则会将部分数据缓存在磁盘上。我们可以使用 `unpersist()` 方法将缓存的RDD从内存或磁盘中删除。 例如，我们有一个RDD需要进行多次计算，我们可以使用以下代码对其进行缓存： ``` val rdd: RDD[Int] = ??? rdd.cache() val result1 = rdd.reduce(_ + _) val result2 = rdd.map(_ * 2).reduce(_ + _) rdd.unpersist() ``` 3. Spark数据封装逻辑 在Spark中，我们可以使用case class来定义数据封装的逻辑。case class是Scala中的一种特殊类，它自动生成了一些方法，包括无参构造函数、getter和setter方法等。 例如，我们有一个存储用户信息的RDD，每个用户包含id、name和age三个属性，我们可以使用以下代码定义一个case class： ``` case class User(id: Int, name: String, age: Int) ``` 然后，我们可以使用 `map()` 方法将RDD中的元素转换为User对象： ``` val rdd: RDD[(Int, String, Int)] = ??? val result: RDD[User] = rdd.map { case (id, name, age) => User(id, name, age) } ``` 4. Spark日期处理机制 在Spark中，我们可以使用Java的日期时间类库或者第三方库（如Joda-Time）来处理日期时间。Spark本身提供了一些日期时间处理函数，如 `current_timestamp()`、`date_add()`、`datediff()` 等。 例如，我们有一个存储订单信息的RDD，每个订单包含id、date和price三个属性，其中date是一个字符串类型表示日期。我们可以使用以下代码将date转换为日期类型，并计算出每个订单距离今天的天数： ``` import java.time.LocalDate val rdd: RDD[(Int, String, Double)] = ??? val today = LocalDate.now() val result = rdd.map { case (id, dateStr, price) => val date = LocalDate.parse(dateStr) val days = java.time.temporal.ChronoUnit.DAYS.between(date, today) (id, days, price) } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值