RDD（弹性分布式数据集）是Spark的基础数据结构，不可变且支持并行计算。RDD通过逻辑分区进行组织，数据类型灵活，适用于迭代计算。RDD包含分区列表、计算函数等属性，并依赖其他RDD。RDD的创建包括并行化现有集合和加载外部文件。通过persist()和cache()实现持久化，提供多种存储级别。RDD的操作分为transformation和action，前者创建依赖关系，后者返回单个值或触发计算。常见的transformation有map、filter等，action有collect、count等。
RDD的全称：弹性分布式数据集合，它是spark的基本数据结构，spark中的所有数据都是通过RDD的形式进行组织。
RDD是不可变的数据集合，不可变的意思是RDD中的每个分区数据是只读的。
RDD数据集是要做逻辑分区的（这里的分区类似hadoop中的逻辑切片split），每个分区可以单独在集群节点进行计算。
RDD数据集中的数据类型可以包含任何java类型、scala类型、python类型或者自定义的类型。
RDD擅长的领域：迭代式的数据处理，比如机器学习。
RDD自带的5个属性详解——
1.分区列表，Partition List。这里的分区概念类似hadoop中的split切片概念，即数据的逻辑切片
2.针对每个split(切片)的计算函数，即同一个RDD的每个切片的数据使用相同的计算函数
3.对其他rdd的依赖列表
4.可选，如果是（
491
2242
996
190
186
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
