SparkConf、SparkContext、SparkSession

最新推荐文章于 2022-06-01 22:42:09 发布
最新推荐文章于 2022-06-01 22:42:09 发布
阅读量544 收藏 2
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42698034/article/details/101425313
版权
本文探讨了Spark中的关键组件SparkConf、SparkContext和SparkSession。SparkConf一旦创建，不可修改，用于设置Spark应用程序的参数。SparkSession作为SQLContext和HiveContext的集成，提供了统一的入口进行SQL查询和数据操作，其内部包含SparkContext执行实际计算。
摘要由CSDN通过智能技术生成

SparkConf和SparkContext

任何Spark程序都是从SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数.
初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD的共享变量.

val conf = new SparkConf()
	.setMaster("master")
	.setAppName("appName")
val sc =
最低0.47元/天 解锁文章
月是天心不愈伤
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sparksession，sparkcontext，sparksql，SparkConf是什么，他们之间什么联系？
Alex的博客
04-02 2796
目录 一.先从SparkContext和SparkConf开始： 1.SparkContext 是什么? 2、创建SparkContext的步骤： 3、SparkConf 二、SQLContext和HiveContext 1.SQLContext 是什么? 2.HiveContext 是什么? 三、SparkSession 其实对初学spark的同学来说，Sparksession，sparkcontext，sparksql，SparkConf看着都特别像，搞着搞着就混了，而且每次创...
【大数据技术详解】理解spark的三种运行模式与SparkConf，SparkContext，SparkSession它们三者之间相互的属性关系及其初始化过程
liuchunhang的博客
12-09 1462
1.Spark 属性 Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式： （1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如： ...
SparkContext、SparkConf和SparkSession之间的联系及其初始化
热门推荐
sym的博客
02-05 5万+
1 SparkConf和SparkContext1.1 启动spark-shell每个Spark应用程序都需要一个Spark环境，这是Spark RDD API的主要入口点。Spark Shell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。使用spark-shell启动交互式命令的过程如下： 进入spark的安装目录，转到bin目录下，启动命令./s
SparkContext、SparkConf和SparkSession的说明
qq_26645205的博客
06-07 3233
SparkContext 和 SparkConf 　　任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。 初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 al conf = new SparkConf().setMaster("master").setAppName("appName") val sc = new SparkContext(
sparkSession、SparkConf、sparkContext之间关系
我的笔记
09-28 1451
通过以下代码是等价的理解sparkSession、SparkConf、sparkContext之间关系 val sparkSession = SparkSession.builder() .appName("spatialQuery") .config("spark.sql.crossJoin.enabled", "true") // ....
Spark学习—— (4+) SparkContext与SparkSession
机器学习，大数据
08-09 8981
SparkContext与SparkSession 1. SparkContext 1.1 是什么？ 如上图，SparkContext是Spark中Driver程序的一部分，向资源管理器cluster manager（可以是mesos、yarn、standalone）申请spark应用所需的资源executor，资源管理器在各个worker上分配一定的executor。 当我们编写pyspark...
SparkContext、SparkConf和SparkSession的初始化
跳跃的list
09-09 237
SparkContext和SparkConf 　　任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。 初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 val conf = new SparkConf().s...
【大数据技术干货】理解SparkContext，SparkSession，StreamingContext在实际开发的过程中的对各类数据库的应用点
liuchunhang的博客
12-10 937
一最大化效率从rdd中向mysql数据库中添加数据 1代码如下： object sparksql { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Level.WARN) //设置日志级别 var config = new SparkConf().s...
【Scala】SparkContext与SparkSession的区别与联系
yuxeaotao的博客
06-01 719
在 2.0之前的 Spark版本中， SparkShell会自动创建一个 SparkContext对象sc。 SparkContext与驱动程序（Driver Program）和集群管理器（Cluster Manager）间的关系如图所示。 从图中可以看到， SparkContext起中介的作用，通过它来使用Spark其他的功能。每一个 JVM 都有一个对应的 SparkContext，Driver Program 通过 SparkContext 连接 到集群管理器来实现对集群中任务的控制。S
SparkContext，SparkConf 和 SparkSession
a8131357leo的博客
03-05 2511
SparkContext，SparkConf 在Spark2.0之前， SparkContext 是所有 Spark 功能的结构， 驱动器（driver） 通过SparkContext 连接到集群 （通过resource manager）， 因为在2.0之前， RDD就是Spark的基础。 如果需要建立SparkContext，则需要SparkConf，通过Conf来配置SparkContex...
SparkSession及SparkContext
lty_sky的专栏
02-22 459
SparkSession是Spark一个全新切入点： SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。   在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不...
{SparkConf,SparkContext,HiveContext}和{SparkSession}的爱恨情仇详解
LXWalaz1s1s的博客
04-26 786
场 景   手写Spark的时候，每个程序的主入口都会用到SparkConf,SparkContext,HiveContext或者SparkSession,那么这三者之间有什么联系呢？   首先,带Context （SparkContext，HiveContext等，后续简称Context）关键字和SparkSession是Spark程序的主入口，SparkConf是加载环境配置信息，举个不恰当...
SPARK 编程入口 SparkContext，SparkSession
小哇
08-04 828
SparkContext是老版本的玩法，新版本都是用SparkSession //创建sparkContext,JavaSparkContext SparkConf sparkConf = new SparkConf() .setAppName("spark-sdfgsgsdgsdgsdgsdg") .setMaster("local"); SparkContext sparkContext = SparkContext.getOrCre.
Spark 2.0系列之SparkSession详解
01-19 4万+
用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Spark的难度也会大大降低。本文就SparkSession在Spark2 0中的功能和地位加以阐释。 Spark2.0中引入了SparkSession的概念，它为用户提供了一个统一的切入点来使用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Sp
Spark Conf配置用法
奔赴彼岸
01-15 2905
Spark 2.0.0 在Spark2.0之后，Spark Session也是Spark 的一个入口， 为了引入dataframe和dataset的API，同时保留了原来SparkContext的functionality， 如果想要使用 HIVE，SQL，Streaming的API， 就需要Spark Session作为入口。 SparkSession spark = SparkSession.builder().appName( "demo_spark" ).enableHiveSupport().ge
spark学习-SparkSQL-SparkSession与SparkContext
九师兄
08-18 1万+
SparkSession-Spark的一个全新的切入点 在Spark的早期版本，sparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API，然而它的创建和操作得使用sparkContext提供的API；对于RDD之外的其他东西，我们需要使用其他的Context。比如对于流处理来说，我们得使用StreamingContext；对于SQL得使用sqlC
sparksession与sparkcontext区别
最新发布
03-31
SparkSession和SparkContext都是Apache Spark中的抽象概念，它们存在一定的区别。具体分析如下： - **SparkSession** 是Spark 2.0中引入的新概念，为用户提供了统一的切入点来学习Spark的各项功能。它是SQLContext和HiveContext的组合，并封装了SparkConf、SparkContext和SQLContext。SparkSession作为DataSet和DataFrame API的接入点，使得在SQLContext和HiveContext上可用的API同样可以在SparkSession上使用。SparkSession内部封装了sparkContext，计算实际上是由sparkContext完成的。 - **SparkContext** 是任何Spark程序的起点，它的初始化需要一个SparkConf对象，包含Spark集群配置的各种参数。SparkContext只能在driver机器上启动，是对Spark计算集群的一个连接。在早期版本的Spark中，SparkContext是主要的切入点，通过它来创建和操作RDD。对于其他API，如StreamingContext、SQLContext和HiveContext，需要使用不同的context。 综上所述，SparkSession是一个更高级别的抽象，提供了更简单的方式来使用Spark的不同功能，而SparkContext是Spark的基础，负责底层的计算任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值