Spark参数有效配置

原创 2016年03月22日 15:07:21

Spark参数配置有三种方式:

1.在编写代码的时候,通过创建SparkConf的时候,使用set方法配置.
2.动态加载:在使用spark-submit提交代码上集群的时候,通过spark-submit的参数进行配置,可以通过spark-submit --help指令查看能够配置的参数.
3.通过spark-default.conf配置文件配置.

如果配置的参数能够同时在这三种配置方法中有效的话,参数值优先度优先使用代码中直接调用SparkConf设置的参数,其次是spark-submit最后才是spark-default,没有设置的才使用默认值.

作用域:
1.仅在spark-default.conf中配置有效的参数
这类参数作用于Master和Worker的机器,在Spark第一次启动的时候生效,这就意味着和提交程序的客户端无关,这类参数通常在类Master.scala和Worker.scala中有源码,配置完需要重启Spark系统生效。
在Master.scala和Worker.scala中初始化过程使用到的参数,只能通过spark-default.conf配置,并且重启集群或重启对应的Worker之后才会生效
例如:

spark.deploy.spreadOut,spark.deploy.defaultCores这两个参数,在Master启动的时候赋值,所以不能通过上面所说前两种方法设置,只能通过spark-dafault.conf设置并重启集群生效.

2.在spark-submit 和 spark-default.conf中配置有效:
这类参数通常和driver有关的配置,使用spark-submit提交jar的过程中,有一段调用SparkSumit对象反射启动jar包对象的过程,也就是说,在这个过程中使用到的参数,不能通过SparkConf配置。例如driver相关的几个参数:


版权声明:转载请标明转载地址: http://blog.csdn.net/yhb315279058

相关文章推荐

Spark配置参数详解

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkCon...

Spark三种属性配置方式详细说明

随着Spark项目的逐渐成熟, 越来越多的可配置参数被添加到Spark中来。在Spark中提供了三个地方用于配置:   1、Spark properties:这个可以控制应用程序的绝大部分属性。并且...

spark参数配置调优

SPARK配置参数的两个地方: 1. $SPARK_HOME/conf/spark-env.sh  脚本上配置。 配置格式如下: export SPARK_DAEMON_MEMORY=1024m ...

spark jvm 参数设置

(1)Driver的JVM参数: -Xmx,-Xms,如果是yarn-client模式,则默认读取spark-env文件中的SPARK_DRIVER_MEMORY值,-Xmx,-Xms值一样大小;如...

spark submit参数调优

摘要   1.num-executors   2.executor-memory   3.executor-cores   4.driver-memory   5.spark.default.p...

spark通过合理设置spark.default.parallelism参数提高执行效率

spark中有partition的概念(和slice是同一个概念,在spark1.2中官网已经做出了说明),一般每个partition对应一个task。在我的测试过程中,如果没有设置spark.def...

spark 使用中会遇到的一些问题及解决思路

7 内存溢出问题     在Spark中使用hql方法执行hive语句时,由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析,并且使用Cglib等进行序列化反序列化,中间可能产生较多...

ganglia系统监控

公司服务器越来越多,安装ganglia统一监控服务器。

How-to: resolve spark streaming "Not enough space to cache input-0-* in memory! "

Error: 15/09/22 21:52:51 WARN storage.MemoryStore: Failed to reserve initial memory threshold of 10...
  • lulynn
  • lulynn
  • 2015年09月24日 16:53
  • 2492

Spark 性能相关参数配置详解1

  • 2017年03月10日 15:58
  • 35KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark参数有效配置
举报原因:
原因补充:

(最多只允许输入30个字)