Spark 双Value类型算子案例详解

1.
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

//测试 RDD之间的交集、并集、差集、拉链操作
object _01TestDoubleValue {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local").setAppName("getRDD")
        val sc = new SparkContext(conf)

        val rdd1: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4, 4, 3),2)
        val rdd2: RDD[Int] = sc.makeRDD(List(2, 3,5, 5,6,7),2)

        //进行下述操作是，RDD的泛型必须一致
        //测试交集
        val v1: RDD[Int] = rdd1.intersection(rdd2)
        //测试并集
        val v2: RDD[Int] = rdd1.union(rdd2)
        //测试差集
        val v3: RDD[Int] = rdd1.subtract(rdd2)

        //分别打印结果
        v1.collect().foreach(println)
        println("*******************")
        v2.collect().foreach(printl