Spark Session 组件以及应用

SparkSession作为Spark 2.0引入的新入口点,整合了SparkContext和SQLContext的功能,提供对DataFrame和DataSet API的支持。SparkContext是Spark应用程序的基础,负责连接集群、配置管理和资源调度。SparkSession简化了API的使用,而SparkConf用于设置应用配置。在Spark 1.x版本中,存在SparkContext和SQLContext两个不同的入口,但在Spark 2.x中,它们被统一到了SparkSession中。
摘要由CSDN通过智能技术生成
  1. 在理解spark-session之前让我们理解入口点,一个入口点是控制从操作系统传递到提供的程序的地方。 在2.0入口之前,spark-core的入口点是sparkContext
    SparkContext在Apache Spark中的功能:
    获取spark应用程序的当前状态
    设置配置
    访问各种服务
    取消job
    取消一个stage
    关闭清洁
    注册Spark-Listener
    可编程动态分配
    访问持久性RDD

    在spark 2.0之前,SparkContext被用作访问所有spark功能的通道。 spark驱动程序使用sparkContext通过资源管理器连接到集群。

    SparkConf是创建spark上下文对象所必需的,它存储配置参数,如appName(用于标识spark驱动程序),core的数目和在工作节点上运行的执行程序的内存大小。

  2. SparkSession
    对于流式传输,我们需要streamingContext。 对于SQL sqlContext和hive hiveContext.,因为dataSet和DataFrame API正在成为新的独立API,我们需要为它们构建入口点。 因此在spark 2.0中,我们为DataSet和DataFrame API创建了一个新的入口点构建,称为Spark-Session。

  3. SparkSession与Spark Context
    这里我们从SparkSession的源码入手

class SparkSession private(
    @transient val sparkContext: SparkContext,
    @transient private val existingSharedSt
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值