Spark操作——转换操作(一)

最新推荐文章于 2023-04-11 12:00:00 发布

YF_Li123

最新推荐文章于 2023-04-11 12:00:00 发布

阅读量735

点赞数 1

分类专栏： Spark学习笔记文章标签： spark rdd 转会操作

本文链接：https://blog.csdn.net/YF_Li123/article/details/106145443

版权

本文介绍了Spark中的基础转换操作，包括键值转换、map、distinct、flatMap、coalesce、repartition、randomSplit、glom、union、intersection和subtract等。这些操作用于对RDD进行各种数据处理和转换，例如去除重复元素、重分区、合并与拆分数据集。

摘要由CSDN通过智能技术生成

基础转换操作
键值转换操作

基础转换操作

map[U](f:(T)=>U):RDD[U]

对RDD中的每个元素都应用一个指定的函数，以此产生一个新的RDD

scala> var rdd = sc.textFile("/Users/lyf/Desktop/test/data1.txt")
rdd: org.apache.spark.rdd.RDD[String] = /Users/lyf/Desktop/test/data1.txt MapPartitionsRDD[13] at textFile at <console>:24

scala> rdd.map(line => line.split(" ")).collect
res16: Array[Array[String]] = Array(Array(Hello, World), Array(Hello, Tom), Array(Hello, Jerry))

distince():RDD[(T)]

去除RDD中重复的元素，返回所有元素不重复的RDD

scala> var rdd = sc.parallelize(List(1,2,2,3,3,3,4,5))
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[15] at parallelize at <console>:24

scala> rdd.distinct.collect
res18: Array[Int] = Array(4, 1, 5, 2, 3)

distince(numPartions: Int):RDD[T]

scala> var rdd = sc.parallelize(List(1,2,2,3,3,3,4,5))
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[15] at parallelize at <console>:24

scala> var rddDistinct = rdd.distinct
rd