Spark参数有效配置

原创 2016年03月22日 15:07:21

Spark参数配置有三种方式:

1.在编写代码的时候,通过创建SparkConf的时候,使用set方法配置.
2.动态加载:在使用spark-submit提交代码上集群的时候,通过spark-submit的参数进行配置,可以通过spark-submit --help指令查看能够配置的参数.
3.通过spark-default.conf配置文件配置.

如果配置的参数能够同时在这三种配置方法中有效的话,参数值优先度优先使用代码中直接调用SparkConf设置的参数,其次是spark-submit最后才是spark-default,没有设置的才使用默认值.

作用域:
1.仅在spark-default.conf中配置有效的参数
这类参数作用于Master和Worker的机器,在Spark第一次启动的时候生效,这就意味着和提交程序的客户端无关,这类参数通常在类Master.scala和Worker.scala中有源码,配置完需要重启Spark系统生效。
在Master.scala和Worker.scala中初始化过程使用到的参数,只能通过spark-default.conf配置,并且重启集群或重启对应的Worker之后才会生效
例如:

spark.deploy.spreadOut,spark.deploy.defaultCores这两个参数,在Master启动的时候赋值,所以不能通过上面所说前两种方法设置,只能通过spark-dafault.conf设置并重启集群生效.

2.在spark-submit 和 spark-default.conf中配置有效:
这类参数通常和driver有关的配置,使用spark-submit提交jar的过程中,有一段调用SparkSumit对象反射启动jar包对象的过程,也就是说,在这个过程中使用到的参数,不能通过SparkConf配置。例如driver相关的几个参数:


版权声明:转载请标明转载地址: http://blog.csdn.net/yhb315279058

Spark配置参数详解

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkCon...
  • guohecang
  • guohecang
  • 2016年08月01日 20:26
  • 33785

Spark三种属性配置方式详细说明

随着Spark项目的逐渐成熟, 越来越多的可配置参数被添加到Spark中来。在Spark中提供了三个地方用于配置:   1、Spark properties:这个可以控制应用程序的绝大部分属性。并且...
  • xiaolang85
  • xiaolang85
  • 2016年05月10日 16:23
  • 3876

Spark应用开发如何设定配置生效

在写Spark应用时,可以添加应用配置的地方有三个,今天总结下方便记忆: 第一个地方,也是优先级最高的地方,是在应用程序代码里设定配置,示例如下: val conf = new SparkConf(...
  • jsky_studio
  • jsky_studio
  • 2016年02月19日 22:45
  • 1406

spark 使用中会遇到的一些问题及解决思路

7 内存溢出问题     在Spark中使用hql方法执行hive语句时,由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析,并且使用Cglib等进行序列化反序列化,中间可能产生较多...
  • xiao_jun_0820
  • xiao_jun_0820
  • 2015年04月14日 10:13
  • 48546

spark参数配置调优

SPARK配置参数的两个地方: 1. $SPARK_HOME/conf/spark-env.sh  脚本上配置。 配置格式如下: export SPARK_DAEMON_MEMORY=1024m ...
  • chenxingzhen001
  • chenxingzhen001
  • 2013年09月19日 22:52
  • 25277

spark jvm 参数设置

(1)Driver的JVM参数: -Xmx,-Xms,如果是yarn-client模式,则默认读取spark-env文件中的SPARK_DRIVER_MEMORY值,-Xmx,-Xms值一样大小;如...
  • pzhw520hchy
  • pzhw520hchy
  • 2017年04月17日 11:10
  • 717

spark通过合理设置spark.default.parallelism参数提高执行效率

spark中有partition的概念(和slice是同一个概念,在spark1.2中官网已经做出了说明),一般每个partition对应一个task。在我的测试过程中,如果没有设置spark.def...
  • bbaiggey
  • bbaiggey
  • 2016年07月21日 17:12
  • 3358

spark submit参数调优

摘要   1.num-executors   2.executor-memory   3.executor-cores   4.driver-memory   5.spark.default.p...
  • chenjieit619
  • chenjieit619
  • 2016年12月01日 14:27
  • 4300

spark 环境搭建及几种模式测试

spark安装部署标签(空格分隔): sparkhadoop,spark,kafka交流群:224209501, spark on yarn;spark standalone;spark hadoo...
  • u011308691
  • u011308691
  • 2016年05月19日 11:58
  • 9495

Spark 配置整理

Spark 的配置有很多,这里一方面总结一下官方文档中的内容,一方面将网上查到的资料中用到的针对特定问题的配置整理一下。 先看一下官网的配置:http://spark.apache.org/do...
  • u013063153
  • u013063153
  • 2017年03月07日 10:58
  • 520
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark参数有效配置
举报原因:
原因补充:

(最多只允许输入30个字)