SparkRDD算子--union算子

语法

val newRdd = oldRdd1.union(oldRdd2)

源码

def union(other : org.apache.spark.rdd.RDD[T]) : org.apache.spark.rdd.RDD[T] = { /* compiled code */ }

作用

计算两个RDD的并集。

例子

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        // union算子
        val listRdd1 = sc.makeRDD(1 to 4)
        val listRdd2 = sc.makeRDD(5 to 10)

        val unionRdd = listRdd1.union(listRdd2)

        unionRdd.collect().foreach(println)
    }
}

输入
1 2 3 4
5 6 7 8 9 10
输出
1 2 3 4 5 6 7 8 9 10

示意图