Spark大师之路：Spark的配置系统

最新推荐文章于 2022-03-23 15:51:50 发布

狗叔

最新推荐文章于 2022-03-23 15:51:50 发布

阅读量9.3k

点赞数

分类专栏： Spark 大数据畅谈文章标签： apache spark 大数据 scala

本文链接：https://blog.csdn.net/asongoficeandfire/article/details/23625847

版权

简介

Spark的配置系统主要分为三个部分：第一个部分是控制Spark任务运行属性的，一般会影响到Spark的运行情况和任务性能；第二个部分是系统变量，可以配置一些运行需要的环境变量及运行参数；第三部分是日志部分，Spark通过log4j来记录任务日志，所以这部分是通过配置log4j来实现的。

Spark属性

Spark属性配置涵盖了任务运行时的大部分参数，并且可以根据不同的任务来实现不同的配置。这部分之前是依靠Java系统变量（也就是通过-D配置的变量）来实现的，但是自从0.9.0-incubating版本之后，这项任务就被一个单独的类SparkConf来承担了。SparkConf类中有很多预定义的配置项，一个简单的例子如下：

import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created with IntelliJ IDEA.
 * User: Administrator
 * Date: 14-3-27
 * Time: 下午11:54
 * To change this template use File | Settings | File Templates.
 */
object TestSpark {
  def main(args: Array[String]) =
  {
    val conf = new SparkConf().setMaster("local").setAppName("testSparkConf")
    val sc = new SparkContext(conf)
    println(sc.textFile("d:/conf.txt").count)
  }
}

这段代码最开始初始化并构建了一个SparkConf类的对象conf，使用其中的setMaster和setAppName方法将这个驱动程序的Master设为本地模式，将其名称设为testSparkConf。然后使用这个SparkConf类对象初始化了一个SparkContext类，将之前的配置项传递给sc，这样就可以控制驱动程序了。

conf.txt的内容如下：