[spark] RDD的特点及弹性分布式数据集的弹性是什么意思
spark主要是基于内存做运算操作,把数据加载到内存然后形成了RDD.
但是如果内存资源不足的情况下,Spark会自动将RDD数据写入磁盘,这里就体现了弹性分布式数据集中的"弹性".
顺便再提一下RDD的几个特点
RDD特点
分区
RDD逻辑上是分区的,每个分区的数据是抽象存在的,计算的时候会通过一个compute函数得到每个分区的数据。
只读
RDD是只读的,要想改变RDD中的数据,只能...
原创
2019-11-13 11:16:46 ·
1001 阅读 ·
1 评论