spark环境创建

最新推荐文章于 2022-06-16 14:37:44 发布

qq_34772375

最新推荐文章于 2022-06-16 14:37:44 发布

阅读量176

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/qq_34772375/article/details/107317322

版权

spark版本2.3.0

创建获取session环境

要想操作spark集群，必须获取相应的session环境，具体的spark基本概念见spark技术原理透视

在spark中获取 session环境的方法比较简单，代码相对固定

private val conf = new SparkConf().setMaster("local")//.set("spark.num.executors","3").set("spark.executor.cores","1")
private val session = SparkSession.builder().appName("xxx").config(conf).getOrCreate()
private val sc: SparkContext = SparkEnv.getSession.sparkContext

其中.setMaster("local")是设置运行模式为单机运行，若为集群运行则删掉该代码即可，集群模式运行的时候会自动读取spark-shell环境下的配置文件，获取集群相关的配置。