spark RDD算子（三）distinct、union、intersection、subtract、cartesian

spark伪集合
尽管RDD本身不是严格意义上的集合，但它也支持许多数学上的集合操作，比如合并和相交操作
distinct
distinct用于去重，我们生成的RDD可能有重复元素，使用distinct方法可以去掉重读的元素，不过此方法涉及到混洗，操作开销很大
scala版本：

val RDD = sc.parallelize(List("aa", "aa", "bb", "cc", "dd"))
val distinctRDD = RDD.collect()
distinctRDD.foreach(println)

java版本

List<String> strings = Arrays.asList("aa", "aa", "bb", "cc", "dd");
        JavaRDD<String> strRDD = sc.parallelize(strings);
        JavaRDD<String> distinctRDD = strRDD.distinct();
        List<String> collect = distinctRDD.collect();
        for (String s : collect) {
   
            System.out.println(s);
        }

union
两个RDD进行合并
scala版本

   val RDD1 = sc.parallelize(List("aa", "aa", "bb", "cc", "dd"))
    val RDD2