SparkSession和SparkContext的来时今生

最新推荐文章于 2022-12-02 18:04:02 发布
最新推荐文章于 2022-12-02 18:04:02 发布
阅读量262 收藏 1
点赞数
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45896475/article/details/105599046
版权

SparkSession是Spark2.0引入的新的概念
spark的早期版本中SparkContext是spark的主要切入点,由于RDD主要是API
我们通过Sparkcontext来创建RDD,对于每个API我们都需要不同的context
例如,Streaming==>StreamingContext,
spl==>sqlContext,
hive==>hiveContext
单数随着DataSet和DataFrame的API逐渐成为表准的API,就需要为他们建立新的额接入点
SparkSession封装了SparkConf,SparkContext和SQLContext,为了向后兼容,SQLContext和HiveContext也被封装了起来.
SpakrSeseion实质上是SQLContext和HiveContext的组合,(未来还有可能加上StreamingContext)
所以SQLContext和HiveContext可用的API在SparkSession上同样是可以使用的,
SparkSeesion内部封装了sparkContext,所以计算实际上的还是有sparkContext完成的!

北京小峻
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark学习-SparkSQL-SparkSession与SparkContext
九师兄
08-18 1万+
SparkSession-Spark的一个全新的切入点 在Spark的早期版本，sparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API，然而它的创建和操作得使用sparkContext提供的API；对于RDD之外的其他东西，我们需要使用其他的Context。比如对于流处理来说，我们得使用StreamingContext；对于SQL得使用sqlC
2.2 Sparkcontext编程入口1
08-04
当你启动一个SparkSession时，实际上也可以间接地获取到SparkContext对象，这通常是通过指定`--master`参数来指定Spark集群的地址，例如`spark://hadoop-master:7077`。 创建SparkContext实例后，你可以创建...
Pyspark学习笔记（三）--- SparkContext 与 SparkSession
朝花&夕拾
06-25 6331
Pyspark学习笔记（三）— SparkContext 与 SparkSession 文章目录Pyspark学习笔记（三）--- SparkContext 与 SparkSession一、什么是SparkContext？二、什么是 SparkSession三、SparkSession 常用方法 一、什么是SparkContext？ SparkContext 从 Spark 1.x（JavaSparkContext for Java）开始可用，在 2.0 中引入 SparkSession 之前，它被用
Spark学习—— (4+) SparkContext与SparkSession
机器学习，大数据
08-09 8934
SparkContext与SparkSession 1. SparkContext 1.1 是什么？ 如上图，SparkContext是Spark中Driver程序的一部分，向资源管理器cluster manager（可以是mesos、yarn、standalone）申请spark应用所需的资源executor，资源管理器在各个worker上分配一定的executor。 当我们编写pyspark...
SparkSession与SparkContext关系详解
weixin_44519468的博客
04-14 3070
SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。  在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的context。例如，对于Streming，我们需要使用S...
【Spark】 SparkSession与SparkContext
sunwenxu的博客
08-01 1万+
文章开始先让我们看一张图： 从图中我们可以大概看出SparkSession与SparkContext的关系了 SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。  在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和...
基于sacla开发sparksql、sparksession所需要的jar包.rar
03-17
在Spark SQL和SparkSession的开发过程中，正确引入必要的jar包是至关重要的步骤。"基于sacala开发sparksql、sparksession所需要的jar包.rar"这个压缩文件包含了一系列用于Spark SQL和SparkSession开发的关键库，这些...
如何使用PySpark（来处理和分析一个大型数据集
最新发布
04-30
以下是一个简单的Python案例，使用PySpark（一个Apache Spark的Python库）来处理和分析一个大型数据集。这个案例将展示如何使用PySpark读取一个文本文件，进行一些基本的数据处理，并计算某个字段的平均值。 在这个...
spark安装和编程实践简要概括
11-01
Shell会自动创建`sc`（SparkContext）和`spark`（SparkSession）对象。 - 加载数据：在Shell中，你可以使用`sc.textFile()`方法加载本地或HDFS上的文本文件。例如，加载Spark的`README.md`文件来演示这个功能。 - ...
Spark理论和PySpark.pdf
01-22
- **安装和配置PySpark**：需要先安装Java和Spark，然后设置Python环境，配置SparkSession。 7. **DataFrame API** - **DataFrame基本操作**：创建、选择列、过滤行、聚合等。 - **转换操作**：例如`withColumn`...
SparkContext、SparkConf和SparkSession之间的联系及其初始化
热门推荐
sym的博客
02-05 5万+
1 SparkConf和SparkContext1.1 启动spark-shell每个Spark应用程序都需要一个Spark环境，这是Spark RDD API的主要入口点。Spark Shell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。使用spark-shell启动交互式命令的过程如下： 进入spark的安装目录，转到bin目录下，启动命令./s
python实战spark(三)--SparkContext
得克特
10-14 3754
常用API Spark官方文档 SparkConf class pyspark.SparkConf(loadDefaults=True, _jvm=None, _jconf=None) 配置应用：用于将各种spark参数设置为键值对。 大多数情况下，您将使用SparkConf()创建SparkConf对象，该对象将从spark.*加载值。 Java系统属性也是如此。在这种情况下，您直接在Spark...
python——spark入门
m0_59485658的博客
12-02 3871
本文中，我们将首先讨论如何在本地机器上或者EC2的集群上设置Spark进行简单分析。然后，我们在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节我们开始通过命令行与Spark进行交互，然后演示如何用Python写Spark应用，并作为Spark作业提交到集群上。
使用Python开发spark
qq_47844519的博客
07-06 5317
spark
SparkContext did not initialize after waiting for 100000 ms
Code_LT的博客
12-25 1343
其他原因比如mater设置的问题这里不赘述，网上查查即可。 报这个错还有个很难发现的原因是当我们用： spark-submit --class 相关程序 提交程序后报错。 如果“相关程序”做了很多其他事情处理之后才运行sparkContext的初始化语句（如 val sc = SparkSession.builder().enableHiveSupport().getOr...
【Scala】SparkContext与SparkSession的区别与联系
yuxeaotao的博客
06-01 694
在 2.0之前的 Spark版本中， SparkShell会自动创建一个 SparkContext对象sc。 SparkContext与驱动程序（Driver Program）和集群管理器（Cluster Manager）间的关系如图所示。 从图中可以看到， SparkContext起中介的作用，通过它来使用Spark其他的功能。每一个 JVM 都有一个对应的 SparkContext，Driver Program 通过 SparkContext 连接 到集群管理器来实现对集群中任务的控制。S
【大数据技术详解】理解spark的三种运行模式与SparkConf，SparkContext，SparkSession它们三者之间相互的属性关系及其初始化过程
liuchunhang的博客
12-09 1435
1.Spark 属性 Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式： （1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如： ...
Spark1.x升级Spark2.x常见异常【map】
踏雪无痕
05-19 529
一.创建Spark入口 相较于Spark1.x，Spark2.x最明显的区别就是程序执行入口的区别了，从SparkContext变为SparkSession。相较于SparkContext，SparkSession对SparkContext进行了二次封装，把原有Spark1.x中的SQLContext和HiveContext进行了合并，默认为SQLContext，当需要访问Hive时，只需开启对Hive的支持即可【.enableHiveSupport()，当然hive的相关配置还是要设置的】，如下：
SparkSession及SparkContext
lty_sky的专栏
02-22 430
SparkSession是Spark一个全新切入点： SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。   在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不...
sparkSession.sparkContext
11-29
可以使用SparkContext对象来创建RDD、累加器和广播变量等。例如，以下是使用`sparkSession.sparkContext`创建一个RDD的示例： ```python # 创建一个SparkSession对象 from pyspark.sql import SparkSession spark =...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值