Spark API 之subtract（差集）

java面试题网站：www.javaoffers.com

subtract差集函数存在三种我们主要针对第一种，常用的也是第一种，而其他两种是差集后的分区策略：

def subtract(other: RDD[T]): RDD[T]
def subtract(other: RDD[T], numPartitions: Int): RDD[T]
def subtract(other: RDD[T], p: Partitioner): RDD[T]

案例：

package spark_api
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object mh_subtract {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("subtract").setMaster("local")
    val sc = new SparkContext(conf)
    val rdd = sc.parallelize(List(1,2,3,4,5,6,7,8,9,10))
    val rdd2 = sc.parallelize(List(1,2,3,4,5,11))
    //rdd - rdd2
    val rdd3: RDD[Int] = rdd.subtract(rdd2)
    val ints: Array[Int] = rdd3.collect()
    for(i<-ints){
      println(i)
    }
    sc.stop()
  }
}

打印结果：注意结果中没有11

6
7
8
9
10

案例2：

package spark_api
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object mh_subtract {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("subtract").setMaster("local")
    val sc = new SparkContext(conf)
    val rdd = sc.parallelize(List(("a",1),("b",2),("c",3),("d",4)))
    val rdd2 = sc.parallelize(List(("a",2),("b",2),("c",2),("d",2)))
    val rdd3: RDD[(String, Int)] = rdd.subtract(rdd2)
    val tuples: Array[(String, Int)] = rdd3.collect().sortBy(yz=>yz._1)
    for(yz<- tuples){
      println(yz.toString())

    }
    sc.stop()
  }

打印结果：

(a,1)
(c,3)
(d,4)

总结： 

rdd.subtract(rdd2): rdd 减去 (rdd与rdd2交集),也可以理解为 rdd减去与rdd2相同=剩余rdd的元素，本人简写方式 ： A-B=A_剩

当rdd中的元祖元素k v 对时通过 k v 进行判断两个元祖元素是否相同。k v 一致则为相同，否则为不同，此方法通常 

用于业务如： 某一时间的新增数据。