Spark之SparkSession

最新推荐文章于 2024-08-22 22:19:14 发布
最新推荐文章于 2024-08-22 22:19:14 发布
阅读量1.2w 收藏 5
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012430664/article/details/58055457
版权
SparkSession是Spark 2.0的核心组件，作为DataFrame和DataSet API的统一入口，替代了旧版的SparkContext、SQLContext和HiveContext。通过builder模式创建SparkSession，若SparkContext已存在则重用，否则新建。SparkSession提供了丰富的操作，是学习Spark功能的重要起点。
摘要由CSDN通过智能技术生成

  最近学习SparkSql时接触了SparkSession。SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。
  在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的context。例如，对于Streming，我们需要使用StreamingContext；对于sql，使用sqlContext；对于hive，使用hiveContext。但是随着DataSet和DataFrame的API逐渐成为标准的API，就需要为他们建立接入点。所以在spark2.0中，引入SparkSession作为DataSet和DataFrame API的切入点，SparkSession封装了SparkConf、SparkContext和SQLContext。为了向后兼容，SQLContext和HiveContext也被保存下来。

创建SparkSession

  我们可以使用builder模式来创建SparkSession。如果SparkContext已经存在，SparkSession就会重用它；如果不存在，Spark就会创建一个新的SparkContext。在每一个JVM中只能有一个SparkContext，但是在一个Spark程序中可以有多个SparkSession。

SparkSession spark = SparkSession.builder()
    .master("yourmaster
最低0.47元/天 解锁文章
JasonQ_NEU
关注
专栏目录
Spark 2.0系列之SparkSession详解
01-19 4万+
用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Spark的难度也会大大降低。本文就SparkSession在Spark2 0中的功能和地位加以阐释。 Spark2.0中引入了SparkSession的概念，它为用户提供了一个统一的切入点来使用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Sp
Spark之Spark Session、Dataframe、Dataset
zp17834994071的博客
08-15 1230
Spark SQL简介 Spark SQL架构： Spark SQL是Spark的核心组件之一（2014.4 Spark1.0) 能够直接访问现存的Hive数据 提供JDBC/ODBC接口供第三方工具借助Spark进行数据处理 提供了更高层级的接口方便地处理数据 支持多种操作方式：SQL、API编程 支持多种外部数据源：Parquet、JSON、RDBMS等 Spark SQL是Spark的一个模块，主要用于处理结构化的数据。与基础的Spark RDD API不同的是，Spark SQL的接口会向提供
SparkContext与SparkSession区别
最新发布
weixin_43322583的博客
08-22 691
Spark中的主要接口，代表与Spark集群的连接。在早期版本的Spark中，需要通过SparkContext对象来初始化Spark应用程序。在Spark 2.0之后，推荐使用SparkSession来替代。
Spark 2.0的SparkSession详解
躬行谷
01-15 5364
Apache Spark 2.0引入了SparkSession，为用户提供了一个统一的切入点来使用Spark的各项功能，并且允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。最重要的是，它减少了用户需要了解的一些概念，使得我们可以很容易地与Spark交互。本文将介绍在Spark 2.0中如何使用SparkSession。
SparkSession介绍
u010569893的博客
11-22 1803
【代码】SparkSession介绍。
SparkSession 简介
weixin_45063703的博客
09-07 8992
前言 最近在学习Spark时，首先遇到了SparkSession，功能挺强大的，集大成者。 Apache Spark 2.0引入了SparkSession，其为用户提供了一个统一的切入点来使用Spark的各项功能，并且允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。 简介 SparkSession 主要用在 sparkSQL 中，当然也可以用在其他场合，他可以代替 SparkContext； SparkSession 实际上封装了 SparkContext，另外也封装了
SparkSession解释
fct2001140269的博客
10-09 2733
创建SparkSession Spark2.0中引入了SparkSession的概念，它为用户提供了一个统一的切入点来使用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Spark2的难度也会大大降低。 早期版本：在2.0版本之前，使用Spark必须先创建SparkConf和SparkContext，代码如下： //设置SparkConf配置参数，并创建...
【Spark床头书系列】Spark SparkSession由来方法示例源码分析
wang2leee的博客
09-20 661
它将SQLContext和HiveContext的功能合并到一个统一的接口中，并提供了更多的功能和便利性。它还提供了更多的集成选项和功能扩展，例如对结构化流处理的支持。总之，SparkSession是Apache Spark中用于与Spark集群交互的主要入口点，提供了统一的编程接口和丰富的功能，使得数据处理更加方便和高效。SparkSession的目标是为用户提供一个统一且一致的编程接口，无论是进行交互式数据探索、批处理作业还是流式处理任务，都能使用相同的代码模型和API。
spark：SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext
不花的花和尚的博客
04-20 808
SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext 参考blog：https://blog.csdn.net/dufufd/article/details/79088891 1. SparkContext： val sparkConf = new SparkConf().setAppName("S...
Spark----SparkSQL之SparkSession
XiaodunLP的博客
02-18 557
SparkSession 是 Spark-2.0 引如的新概念。SparkSession 为用户提供了统一的切入点，来让用 户学习 Spark 的各项功能。    在 Spark 的早期版本中，SparkContext 是 Spark 的主要切入点，由于 RDD 是主要的 API，我 们通过 sparkContext来创建和操作 RDD。对于每个其他的 API，我们需要使用不同的 context。...
spark学习-55-源代码：SparkSession的的创建
九师兄
12-08 7580
1。首先我们在自己的程序中创建SparkSession spark= SparkSession.builder() .appName("lcc_java_habase_local") .master("local[4]") .getOrCreate(); 2。我们看看这
SparkSession
zhixingheyi_tian的博客
01-28 1328
SparkSession 是 Spark SQL 的入口。
spark学习-SparkSQL-SparkSession与SparkContext
热门推荐
九师兄
08-18 1万+
SparkSession-Spark的一个全新的切入点 在Spark的早期版本，sparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API，然而它的创建和操作得使用sparkContext提供的API；对于RDD之外的其他东西，我们需要使用其他的Context。比如对于流处理来说，我们得使用StreamingContext；对于SQL得使用sqlC
SparkSession对象
鸭梨的博客
11-25 510
The entry point to programming Spark with the Dataset and DataFrame API. 常用用法 val spark: SparkSession = SparkSession.builder() .appName("SparkSQL") .master("local") .getOrCreate()
spark = SparkSession.builder.getOrCreate()
06-10
这是一个创建或获取SparkSession实例的语句，用于连接和操作Spark集群。SparkSession是Spark SQL操作的入口点，它允许我们使用Spark SQL API读取和处理结构化的数据。Spark SQL可以使用Hive元数据存储和执行SQL查询，也可以与其他数据源进行交互，如JSON、Parquet、JDBC等。通过创建或获取SparkSession实例，我们可以使用Spark SQL API进行数据处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值