SparkSession对象

最新推荐文章于 2024-03-16 17:09:02 发布

鸭梨山大哎

最新推荐文章于 2024-03-16 17:09:02 发布

阅读量515

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/u010711495/article/details/110110198

版权

spark 专栏收录该内容

121 篇文章 8 订阅

订阅专栏

spark编程入口,因为其构造函数私有,所以需要用builder方法创建SparkSession对象.

val spark: SparkSession = SparkSession.builder()
    .appName("SparkSQL")
    .master("local")
    .getOrCreate()

常用方法

主要用来创建DataSet 和DataFrame
在这里插入图片描述

源码

//构造函数私有,因此不可以直接new
class SparkSession private(
    @transient val sparkContext: SparkContext,
    @transient private val existingSharedState: Option[SharedState],
    @transient private val parentSessionState: Option[SessionState],
    @transient private[sql] val extensions: SparkSessionExtensions)
  extends Serializable with Closeable with Logging{}