Apache Spark实战教程(三)：两个RDD求交集 差集 并集

一.前言

spark中两个rdd，经常需要做交集，差集，并集等操作。好比任何一门编程语言中两个集合，交并差也是常见的需求。现在我们看看在spark中怎么实现两个rdd的这种操作。
为了方便看到结果，在spark shell中测试如下代码。

生成两个RDD

scala> val rdd1 = sc.parallelize(List("a", "b","c"))
rdd1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[5] at parallelize at <console>:27

scala> val rdd2 = sc.parallelize(List("e", "d","c"))
rdd2: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[6] at parallelize at <console>:27

二.求并集，union操作

如果是要求并集，用union操作

scala> rdd1.union(rdd2).collect
...
res5: Array[String] = Array(a, b, c, e, d, c)

可以看出，union的结果是没有去重的，就是将rdd1与rdd2的元素放一块。如去重请用distinct

scala> rdd1.union(rdd2).distinct.collect
...
res6: Array[String] = Array(a, b, c, d, e)

三.求交集，intersection操作

求两个交集也是常见的需求。很简单，用intersection操作就可以了。

scala> rdd1.intersection(rdd2).collect
...
res7: Array[String] = Array(c)

scala> rdd2.intersection(rdd1).collect
...
res9: Array[String] = Array(c)

四.求差集，subtract

subtract的方法原型为：

def subtract(other: RDD[T]): RDD[T]

该函数类似于intersection，返回在RDD中出现，并且不在otherRDD中出现的元素，不去重。

scala> rdd1.subtract(rdd2).collect
...
res10: Array[String] = Array(a, b)

scala> rdd2.subtract(rdd1).collect
...
res11: Array[String] = Array(d, e)

这几个方法都很实用，使用起来也简单快捷，希望能对大家有所帮助。