spark源码一参数初始化和ｃｏｎtext组成

最新推荐文章于 2024-07-15 18:02:27 发布

dddddssssa

最新推荐文章于 2024-07-15 18:02:27 发布

阅读量171

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/dddddssssa/article/details/111292245

版权

spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

前言 spark任务启动时获取参数方式

在启动spark程序时先要进行参数配置，也就是通过new SparkConf()来设置spark程序所需的参数，底层数据结构是 key-value pairs

 private val settings = new ConcurrentHashMap[String, String]()

spark获取参数方式有三种：
1、源自于系统参数以spark.参数开头的属性，

  if (loadDefaults) {
    loadFromSystemProperties(false)
  }

  private[spark] def loadFromSystemProperties(silent: Boolean): SparkConf = {
    // Load any spark.* system properties
    for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) {
      set(key, value, silent)
    }
    this
  }

2、使用sparkConf相关API设置的那部分

  /** Set a configuration variable. */
  def set(key: String, value: String): SparkConf = {
    set(key, value, false)
  }

3、从别的SparkConf克隆过来

 /** Copy this object */
  override def clone: SparkConf = {
    val cloned = new SparkConf(false)
    settings.entrySet().asScala.foreach { e =>
      cloned.set(e.getKey(), e.getValue(), true)
    }
    cloned
  }