创建SparkContext

本文介绍了如何创建SparkContext实例,它是与Spark集群交互的入口。SparkContext的创建需要master URL、应用名称、SparkHome路径和依赖JARs。推荐从环境变量中获取这些参数以适应不同环境。在Scala中,可以通过指定master_path、application name、sparkHome路径和JARs列表来创建实例。此外,还列举了SparkContext提供的方法,如addJar、addFile、stop、clearFiles和clearJars等。
摘要由CSDN通过智能技术生成

SparkContext实例可以与一个Spark集群连接,也提供与Spark系统交互的入口,那么如何创建一个合适特定集群的SparkContext实例?

SparkContext 对象必须有如下基本信息:

1.master:master URL 可以是如下格式之一:

local[n]:本地模式

spark://[sparkIp]:指向一个Spark集群

mesos://:如果spark部署在一个mesos集群上则指向一个mesos路径。

2.application name:可读的应用名字

3.sparkHome:Spark的根目录路径。

4.jars:提交作业时所要依赖的jar包路径


在scala程序中,可以通过下列语句创建SparkContext 实例:

val sparkContext= new SparkContext(master_path,"application name",["optional spark home path"],["optional list of jars"])

虽然所有的参数值都可以在代码中硬编码,但更好的方式是从环境变量中去读取对应的值,并且提供默认设置。这样当环境变化时也不需要重编译代码,就可以运行。代码如下:

import spark.sparkContext

import spark.sparkContext._

import scala.util.Properties


val master = Properties.envOrElse("MASTER","local")

val sparkHome=properties

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值