5、Spark_RDD算子——Union

最新推荐文章于 2023-04-09 14:35:38 发布

天下第一黑鬼_Big Data

最新推荐文章于 2023-04-09 14:35:38 发布

阅读量343

点赞数

分类专栏： Spark算子系列文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_39025328/article/details/108990193

版权

Spark算子系列专栏收录该内容

14 篇文章 0 订阅

订阅专栏

一、SparkUtils工具类

import org.apache.spark.{SparkConf, SparkContext}

object SparkUtils {
  /**
   *  默认的master url路径
   */
  val DEFAULT_MASTER = "local[*]"
  /**
   * 默认master为local[*]的获取sparkContext
   */
  def getSparkContext(appName:String):SparkContext = getSparkContext(appName, DEFAULT_MASTER)
  def getSparkContext(appName:String, master:String):SparkContext = new SparkContext(new SparkConf().setAppName(appName).setMaster(master))
  /**
   * 释放sparkContext
   */
  def close(sc:SparkContext) = if(sc != null) sc.stop()
}

二、日志工具

import org.apache.log4j.{Level, Logger}

trait LoggerTrait {
  Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
  Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)
  Logger.getLogger("org.spark_project").setLevel(Level.WARN)

}

三、Spark算子Union

import cn.qphone.spark.common.LoggerTrait.LoggerTrait
import cn.qphone.spark.common.Utils.SparkUtils
import org.apache.spark.rdd.RDD

object Deom5_Union extends LoggerTrait{
  def main(args: Array[String]): Unit = {
    //1.sparkcontext获取
   val sc = SparkUtils.getSparkContext("Deom5_Union")
    //2.数据
    //3.加载RDD
    val listRDD1: RDD[Int] = sc.parallelize(1 to 10,1)
    val listRDD2: RDD[Int] = sc.parallelize(11 to 20,1)
    //4.作用Map
    val unionRDD: RDD[Int] = listRDD1.union(listRDD2)
    //5.打印
    unionRDD.foreach(println)
    //6.释放资源
    SparkUtils.close(sc)
  }
}