创建RDD和RDD的持久化

最新推荐文章于 2023-06-06 10:32:52 发布
最新推荐文章于 2023-06-06 10:32:52 发布
阅读量379 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32632869/article/details/77196911
版权

创建RDD的方式

第一种：通过并行化的方式创建RDD

val arr = Array(1,2,3,4,5,6,7)
val rdd = sc.paralleize(arr,4) //并行化程度是4
//默认是根据集群的情况来设置分区，建议一个cpu分2-4个partition

第二种方式：使用本地文件或者HDFS创建RDD
textfile来读取文件创建RDD，默认情况下每一个Block创建一个partition，分区只能比block多

第三种方式：使用其他的RDD生成RDD

RDD持久化

可以将RDD持久化到内存中，只需要调用cache（）或者persist（）方法即可
unpersist方法是清除缓存
持久化策略：
StorageLevel[
Memory_Only //只有内存 默认情况
memory_AND_disk //内存和磁盘
MEMORY_ONLY_SER //内存的序列化存储
MEMORY_ADN_DISK_SER //内存和磁盘的序列化存储
DISK_ONLY //磁盘存储
MEMORY_ONLY_2 //表示会存储两份，另一份是备份
]
以下的这几种方式不建议使用：
memory_AND_disk //内存和磁盘
MEMORY_ONLY_SER //内存的序列化存储
MEMORY_ADN_DISK_SER //内存和磁盘的序列化存储
DISK_ONLY //磁盘存储
还不如从新计算一次

OOM_and_Exception
关注
专栏目录
spark Core RDD持久化详解
03-23
与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 ...
RDD持久化
象在舞的技术专栏
08-31 2006
一、RDD持久化原理         Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次
大数据技术之Spark（五）——RDD持久化
five小点心的博客
04-03 790
数据会被重复读取。如果想要提高性能，需要数据不被重复读取。那么就需要在数据传输给reduceByKey之前，先将数据放到一个缓存（文件）中，这样就可以不用重复读了。如下图所示：我们把这种操作称为持久化操作。
Spark RDD持久化机制
最新发布
梁辰兴的博客
06-06 798
Spark会自动监视每个节点上的缓存使用情况，并以最近最少使用的方式从缓存中删除旧的分区数据。从上述代码可以看出，cache()方法调用了无参的persist()方法，两者的默认存储级别都为MEMORY_ONLY，但cache()方法不可更改存储级别，而persist()方法可以通过参数自定义存储级别。Spark中重要的功能之一是可以将某个RDD中的数据保存到内存或者磁盘中，每次需要对这个RDD进行算子操作时，可以直接从内存或磁盘中取出该RDD的持久化数据，而不需要从头计算才能得到这个RDD。
第十七章 Spark开发调优原则详述（图解+代码实战）
qq_27924553的博客
03-08 424
Spark开发调优原则详细概述（图解+代码实战）
RDD的持久化机制
m0_59839948的博客
05-08 1424
RDD的持久化操作有两种方法，分别是cache()方法和persist()方法。每一个持久化的RDD都可以使用不同的存储级别存储，从而允许持久化数据集在硬盘或者内存中作为字列化的Java对象存储,甚至可以跨节点复制。 persist()方法的存储级别是通过StorageLevel对象(Scala、Java、Python)设置的。 cache()方法的存储级别是使用默认的存储级别(即 StorageLevel.MEMORY_ONLY将反序列化的对象存入内存)。 1、使用persist（）方法对R..
南华大学RDD实验报告
09-13
**五、RDD持久化** RDD的持久化是指将中间结果存储在内存或磁盘上，以便后续的计算可以直接复用，提高数据处理效率。在实验中，可以通过调用persist()或cache()方法实现RDD的持久化。 **六、实验总结** 通过对Spark...
RDD编程API
08-09
- 描述：缓存或持久化RDD，以便重复使用。 - 示例：`rdd.cache()` 26. **`subtract(rdd)` 和 `subtractByKey(rdd)`** - 描述：从当前RDD中减去另一个RDD的元素。 - 示例：`rdd.subtract(anotherRdd)` - 示例：...
RDD编程初级实践数据.rar
06-07
2. **持久化与缓存**：RDD可以通过`cache`或`persist`进行持久化，将其存储在内存中，以加速后续的重复计算。 3. **错误恢复**：RDD的容错机制依赖于血统（Lineage），当某个分区丢失时，可以通过重新计算丢失分区...
RDD使用基础
10-19
- **RDD持久化（Persist）**: 在Spark中，可以通过调用`persist`或`cache`方法来缓存RDD，从而避免重复计算。需要注意的是，在调用`persist`后不应再有其他的转换操作，以防止数据集的更新导致缓存失效。 - **...
RDD的持久化
02-24 765
RDD 的持久化 Spark最重要的一个功能，就是在不同操作间，持久化（或缓存）一个数据集在内存中。当你持久化一个RDD，每一个结点都将把它的计算分块结果保存在内存中，并在对此数据集（或者衍生出的数据集）进行的其它动作中重用。这将使得后续的动作(Actions)变得更加迅速（通常快10倍）。缓存是用Spark构建迭代算法的关键。 你可以用persist()或cache()方法来标记一个
spark中的rdd的持久化
金字塔上的蜗牛的专栏
04-13 5623
rdd的全称为Resilient Distributed Datasets（弹性分布式数据集） rdd的操作有两种transfrom和action。 transfrom并不引发真正的rdd计算，action才会引发真正的rdd计算。 rdd的持久化是便于rdd计算的重复使用。 举例如下： rdd的持久化操作有cache()和presist()函数这两种方式。
rdd的持久化的三种方式：cache，persist，checkpoint
wyqwilliam的博客
11-22 2866
rdd的持久化算子有三种： 1、cache:将数据持久化到内存 2、persist：可以将数据持久化到磁盘，也可以将数据持久化到内存 3、checkpoint：将数据持久化到磁盘。 persist的几个参数： cache和persist的注意事项 1、cache和persist都是懒执行算子，需要有一个action算子触发执行 2、cache和persist算子的返回执行都必...
Spark性能调优：RDD的复用以及RDD持久化
行走的树
12-04 6917
避免创建重复的RDD通常来说，开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的算子操作（比如map、reduce等）串起来，这个“RDD串”，就是RDD lineage，也就是“RDD的血缘关系链”。我们在开
RDD的几种创建方式
热门推荐
呼呼的小窝
09-10 2万+
Spark中RDD的几种创建方式，及在Spark核心编程过程中值得注意的几点
Spark核心编程-RDD持久化详解
上海一九四三
08-11 1806
一、不使用RDD持久化 二、使用RDD持久化 三、持久化对于性能调优的原则 尽量去复用RDD，差不多的RDD，可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。 公共RDD一定要实现持久化，对于要多次计算和使用的公共RDD，一定要进行持久化。 持久化，也就是说，将RDD的数据缓存到内存中/磁盘中，以后无论对这个RDD做多少次计算，都是直接取这个RDD的持久化的数据，比如从内...
RDD持久化原理与共享变量
路漫漫其修远兮，吾将上下而求索
11-29 6138
RDD 持久化工作原理 Spark非常重要的一个功能特性就是可以将RDD 持久化在内存中，当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition，这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD ，而不需要计算多次该RDD 巧妙使用RDD持
Spark性能调优系列：(三)开发调优（尽可能复用同一个RDD）
Mr.Cao
10-21 307
调优：尽可能复用同一个RDD 在对不同的数据执行算子操作时还要尽可能地复用一个RDD。 多个RDD的数据有重叠或者包含的情况，我们应该尽量复用一个RDD，这样可以尽可能地减少RDD的数量，从而尽可能减少算子执行的次数。 比如：有一个RDD的数据格式是key-value类型的，另一个rdd是单value类型的，这两个RDD的value数据是完全一样的。那么此时我们可以只使用key-value类...
Spark RDD精讲：从创建到持久化
课程涵盖了Spark RDD的创建、操作、持久化、独立部署高可用性等内容，并深入探讨了包括排序、分组统计在内的高级编程技巧。" Apache Spark是一个高效且通用的大规模数据处理引擎，其核心组件是Resilient ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值