SparkSession使用

介绍:SparkSession 是 Spark SQL 的入口。使用 Dataset 或者 Datafram 编写 Spark SQL 应用的时候,第一个要创建的对象就是 SparkSession。你可以通过 SparkSession.builder 来创建一个 SparkSession 的实例,并通过 stop 函数来停止 SparkSession。
例子:
import org.apache.spark.sql.SparkSession
val spark: SparkSession = SparkSession.builder
.appName(“My Spark Application”) // optional and will be autogenerated if not specified
.master(“local[*]”) // avoid hardcoding the deployment environment
.enableHiveSupport() // self-explanatory, isn’t it?
.config(“spark.sql.warehouse.dir”, “target/spark-warehouse”)
.getOrCreate

对象:: 在 SparkSession 的内部, 包含了SparkContext, SharedState,SessionState 几个对象。下表中介绍了每个对象的大体功能:在这里插入图片描述
方法与类: 这些方法包含了创建 DataSet, DataFrame, Streaming等。
在这里插入图片描述
Builder:Builder 是 SparkSession 的构造器。 通过 Builder, 可以添加各种配置。Builder 的方法如下:
在这里插入图片描述
例子如下
import org.apache.spark.sql.SparkSession
val spark: SparkSession = SparkSession.builder
.appName(“My Spark Application”) // optional and will be autogenerated if not specified
.master(“local[*]”) // avoid hardcoding the deployment environment
.enableHiveSupport() // self-explanatory, isn’t it?
.getOrCreate

ShareState:在这里插入图片描述通过设置 log4j.logger.org.apache.spark.sql.internal.SharedState=INFO 可以看到相应的日志。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值