sparkSession常见参数设置

最新推荐文章于 2023-03-14 14:48:47 发布

给我一个苹果

最新推荐文章于 2023-03-14 14:48:47 发布

阅读量5k

点赞数 1

文章标签： spark

本文链接：https://blog.csdn.net/weixin_43705952/article/details/106464333

版权

def getSparkSession(sparkConf:SparkConf):SparkSession = {
    val sparkSession: SparkSession = SparkSession.builder()
      .config(sparkConf)
      //调度模式
      .config("spark.scheduler.mode", "FAIR")
      .config("spark.executor.memoryOverhead", "512")//堆外内存
      .config("enableSendEmailOnTaskFail", "true")
   //   .enableHiveSupport() //开启支持hive
      .getOrCreate()
    sparkSession.sparkContext.setLocalProperty("spark.scheduler.pool", "n1")
    sparkSession
  }