spark(7) -- sparkCore(1) -- RDD概念

最新推荐文章于 2024-06-12 09:44:35 发布

erainm

最新推荐文章于 2024-06-12 09:44:35 发布

阅读量408

点赞数

分类专栏：大数据学习文章标签： spark

本文链接：https://blog.csdn.net/eraining/article/details/108896459

版权

大数据学习专栏收录该内容

148 篇文章 5 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

RDD（Resilient Distributed Dataset）是Spark中的基本数据抽象，表示不可变、可分区、支持并行计算的数据集。RDD具有弹性、分布式、只读和可分区等特点，支持转化和行动操作。RDD的血缘关系和缓存机制提供了容错能力，使得Spark能高效处理数据。RDD通过转换操作形成有向无环图（DAG），并在行动操作时进行计算。RDD的分区、依赖、缓存和检查点是其关键特性。

摘要由CSDN通过智能技术生成

在这里插入图片描述
对于大量的数据，Spark 在内部保存计算的时候，都是用一种叫做弹性分布式数据集（Resilient Distributed Datasets，RDD）的数据结构来保存的，所有的运算以及操作都建立在 RDD 数据结构的基础之上。
在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing这篇paper中（以下简称 RDD Paper），Matei等人提出了RDD这种数据结构，文中开头对RDD的定义是：
在这里插入图片描述
也就是说RDD设计的核心点为：

RDD提供了一个抽象的数据模型，不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换操作（函数），不同RDD之间的转换操作之间还可以形成依赖关系，进而实现管道化，从而避免了中间结