SparkSession、SparkContext、SQLContext

最新推荐文章于 2023-03-24 22:51:31 发布
最新推荐文章于 2023-03-24 22:51:31 发布
阅读量2.4k 收藏 5
点赞数 1
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41227335/article/details/83823372
版权

在这里插入图片描述

Application：用户编写的Spark应用程序，Driver 即运行上述 Application 的 main() 函数并且创建 SparkContext。
SparkContext：整个应用的上下文，控制应用的生命周期。
RDD：不可变的数据集合，可由 SparkContext 创建，是 Spark 的基本计算单元。

SparkSession是Spark2.0新引入的

SparkSession内部封装了SparkConf、SparkContext、SQLContext、HiveContext
因此SparkSession可以用他们所有的api

创建方式：

在这里插入图片描述

利用SparkSession创建SparkContext和SQLContext：

在这里插入图片描述

Jsoooo
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sparksession，sparkcontext，sparksql，SparkConf是什么，他们之间什么联系？
Alex的博客
04-02 2740
目录 一.先从SparkContext和SparkConf开始： 1.SparkContext 是什么? 2、创建SparkContext的步骤： 3、SparkConf 二、SQLContext和HiveContext 1.SQLContext 是什么? 2.HiveContext 是什么? 三、SparkSession 其实对初学spark的同学来说，Sparksession，sparkcontext，sparksql，SparkConf看着都特别像，搞着搞着就混了，而且每次创...
spark学习-SparkSQL-SparkSession与SparkContext
九师兄
08-18 1万+
SparkSession-Spark的一个全新的切入点 在Spark的早期版本，sparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API，然而它的创建和操作得使用sparkContext提供的API；对于RDD之外的其他东西，我们需要使用其他的Context。比如对于流处理来说，我们得使用StreamingContext；对于SQL得使用sqlC
Spark 2.0系列之SparkSession详解
热门推荐
01-19 4万+
用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Spark的难度也会大大降低。本文就SparkSession在Spark2 0中的功能和地位加以阐释。 Spark2.0中引入了SparkSession的概念，它为用户提供了一个统一的切入点来使用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Sp
【PySpark】Spark 2.0系列SparkSession与Spark 2.0之前版本中的SQLContext和HiveContext的联系与区别
J小白的博客
05-29 2453
目录 1.Spark在2.0版本和之前版本的入口 2.SQLContext的使用 3.HiveContext的使用 4.SparkSession的三种创建方式 4.1SparkSession直接builder方式 4.2SparkConf的builder方式 4.3SparkContext方式 1.Spark在2.0版本和之前版本的入口 在Spark2.0之前，sparkContext是进入Spark的切入点。众所周知的RDD的创建和操作就需要使用sparkCont...
SparkSQL（12）：SQLContext/HiveContext/SparkSession使用和区别
小蚯蚓的博客
10-01 5590
一、SQLContext 1.适用spark版本：spark1.x 2.添加依赖 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2....
SparkSession和SparkContext
WRJ_Jack的博客
11-09 270
SparkSession和SparkContext spark2.x之前， 使用streming用streamingContext 使用sql 用sqlContext 使用hive 用hiveContext 使用RDD 用sparkContext spark2.x之后， 使用sparksession可以自动访问不同的sparkcontext, saprksession代替了旧的sqlContext和hiveContext同时也保留这些context用来向后兼
SparkSession及SparkContext
lty_sky的专栏
02-22 449
SparkSession是Spark一个全新切入点： SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。   在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不...
pySpark 关于SparkContext和SQLContext等模块
rosefun96的博客
07-10 1557
1. pyspark.sql模块 是Spark SQL and DataFrames重要的类。 pyspark.sql.SparkSession ：是DataFrame and SQL 的主入口，比如可以createDataFrame. pyspark.sql.DataFrame :分布式的数据集合。 pyspark.sql.Column DataFrame的列. pyspark.sql.Row DataFrame的行. pyspark.sql.GroupedData 聚合方法， 返回 DataFrame
SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext
莫慌 吃口药
02-24 4892
SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext 参考blog：https://blog.csdn.net/dufufd/article/details/79088891 1. SparkContext： val sparkConf = new SparkConf().setAppName("S...
SparkSession、SparkContext、SQLContext和HiveContext之间的区别
weixin_43648241的博客
10-04 1083
转载：https://www.cnblogs.com/lillcol/p/11233456.html SparkContext 是什么? 驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN 或Mesos)进行协调。 使用SparkContext，可以访问其他上下文，比如SQLContext和HiveContext。 使用SparkContext，我们可以为Spark作业设置配置参数。 如果您在spark-shell中，那么SparkContex
session-spark:session分析
04-28
Spark中的Session代表一个运行环境，它是Spark 2.x引入的新概念，替代了原来的Context（如SparkContext和SQLContext）。SparkSession是所有Spark应用程序的入口点，它为DataFrame和Spark SQL提供了一致的API。创建...
Spark学习笔记（三）：Spark DataFrame
01-20
在Spark 2.0及以上版本中，DataFrame的管理由SparkSession接口负责，它取代了早期的SQLContext和HiveContext。SparkSession是Spark SQL的入口点，用于创建DataFrame、执行SQL查询以及与各种数据源交互。创建...
Spark机器学习案例实战.pdf
07-25
SparkSession是Spark 2.0引入的全新入口点，用于取代旧有的SparkContext和SQLContext。SparkSession封装了对Spark环境的访问，可以用来创建DataFrame、执行SQL查询等。它是一个单一的入口点，可以访问所有Spark的...
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
09-20
`pandas` 是Pandas库的核心，`SparkSession` 是Spark 2.0后引入的新的入口点，用于替代之前的`SQLContext`和`HiveContext`。`SQLContext`是Spark SQL的入口点，能够读取数据并将其转换为DataFrame。`SparkContext`是...
SparkSpringTemplate:带有Spring的Apache Spark应用程序可管理依赖项注入
05-22
- 在 SparkSpringTemplate 中，它会包含 Spark 相关的 bean，如 SparkConf、SparkContext 或 SparkSession。 3. **依赖注入（Dependency Injection，DI）**： - DI 是一种设计模式，允许我们在不创建对象的情况下...
SQLContext/HiveContext/SparkSession的使用（三）
zghgchao
12-22 568
SparkSession的使用： Spark 2.x中Spark SQL的入口点是SparkSession。 官网http://spark.apache.org/docs/latest/sql-programming-guide.html import org.apache.spark.sql.SparkSession val spark = SparkSession
关于SQLContext过期，SparkSession登场
乔治大哥的博客
11-01 1704
关于SQLContext过期问题。 源码中解释道： spark2.0之后使用sparksession替代，不过仍然保留了SQLContext。 那么他们两个有不同吗？这里只说一个重要的。在你使用SparkSession代替SQLContext的时候 package SparkSql import org.apache.spark.sql.{DataFrame, SQL...
【Spark】Spark SQL基础使用详解和案例
weixin_46429290的博客
03-24 1829
Spark SQL是Apache Spark的一个模块，它提供了一种基于结构化数据的编程接口。Spark SQL支持结构化数据的处理，包括数据的读取、转换和查询。它可以将传统的基于表和SQL的操作和Spark的分布式计算相结合，提供强大的数据处理和分析能力。Spark SQL也可以与其他Spark组件集成，如MLlib和GraphX，以支持更广泛的数据处理场景。
SparkSession、SparkContext、SQLContext和HiveContext之间的区别。
weixin_30622181的博客
07-23 1238
SparkContext 是什么? 驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN 或Mesos)进行协调。 使用SparkContext，可以访问其他上下文，比如SQLContext和HiveContext。 使用SparkContext，我们可以为Spark作业设置配置参数。 如果您在spark-shell中，那么Sp...
sparksession与sparkcontext区别
最新发布
03-31
SparkSession和SparkContext都是Apache Spark中的抽象概念，它们存在一定的区别。具体分析如下： - **SparkSession** 是Spark 2.0中引入的新概念，为用户提供了统一的切入点来学习Spark的各项功能。它是SQLContext...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值