语法
val newRdd = oldRdd1.intersection(oldRdd2)
源码
def intersection(other : org.apache.spark.rdd.RDD[T]) : org.apache.spark.rdd.RDD[T] = { /* compiled code */ }
作用
计算两个RDD的交集。
例子
package com.day1
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object oper {
def main(args: Array[String]): Unit = {
val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")
// 创建上下文对象
val sc = new SparkContext(config)
// intersection算子
val listRdd1 = sc.makeRDD(1 to 3)
val listRdd2 = sc.makeRDD(2 to 5)
val intersectionRdd = listRdd1.intersection(listRdd2)
intersectionRdd.collect().foreach(println)
}
}
输入
1 2 3
2 3 4 5
输出
2 3