SparkSession的三种创建方式

美图欣赏:

一.SparkSession的三种创建方式

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession


/**
  * sparksql的初始化
  */
object SparkSQLDemo {
  def main(args: Array[String]): Unit = {
    //第一种创建方试
    //builder开始构建上下文环境

    val spark1: SparkSession = SparkSession.builder()
      .appName("SparkSQLDemo") //指定相对应运行名称
      .master("local[2]") //指定相对应运行模式
      .getOrCreate //开始创建

    //第二种创建方式
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[2]")

    //源码：
    /*def config(conf: SparkConf): Builder = synchronized {
      conf.getAll.foreach { case (k, v) => options += k -> v }
      this
    }*/
    val spark2: SparkSession = SparkSession.builder()
      .config(conf)
      .getOrCreate()


    //第三种创建方式
    val spark3: SparkSession = SparkSession.builder()
      .appName("SparkSQLDemo")
      .master("local[2]")
      .enableHiveSupport() //启用hive支持
      .getOrCreate()

    spark1.stop()
    spark2.stop()
    spark3.stop()

  }
}

        ————保持饥饿，保持学习
             Jackson_MVP