RDD常用的算子操作

最新推荐文章于 2024-03-02 17:02:38 发布

安静点吧壮汉

最新推荐文章于 2024-03-02 17:02:38 发布

阅读量502

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/JamesBaiLove/article/details/103805409

版权

本文深入探讨了Spark中Resilient Distributed Datasets (RDD)的两种主要操作类型：transformation算子和action算子。transformation算子用于创建新的RDD而不立即执行操作，而action算子则触发计算并返回结果。了解这些算子对于高效使用Spark进行大数据处理至关重要。

摘要由CSDN通过智能技术生成

transformation算子

转换	含义
map(func)	返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成
filter(func)	返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成
flatMap(func)	类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素）
mapPartitions(func)	类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]
mapPartitionsWithIndex(func)	类似于mapPartitions，但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Interator[T]) => Iterator[U]
union(otherDataset)	对源RDD和参数RDD求并集后返回一个新的RDD
intersection(otherDataset)