spark RDD基础装换操作--subtract操作

最新推荐文章于 2021-09-15 16:51:59 发布

菩提树下的呆子

最新推荐文章于 2021-09-15 16:51:59 发布

阅读量1.3k

点赞数

分类专栏： spark 文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_43744732/article/details/104111021

版权

spark 专栏收录该内容

20 篇文章 0 订阅

订阅专栏

9.subtract操作

对封装有数字1~10的RDD和封装有数字1到10的RDD求差集

scala>  val rddData1 = sc.parallelize(Array(1,1,2))
rddData1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[5] at parallelize at <console>:24

scala>  val rddData2 = sc.parallelize(Array(2,2,3))
rddData2: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[6] at parallelize at <console>:24

scala>  val rddData3 = rddData1.subtract(rddData2)
rddData3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[16] at subtract at <console>:28

scala>  rddData3.collect
res3: Array[Int] = Array(1, 1)

说明：
subtract操作是差集运算，但这个过程不会对元素去重。