在YARN上运行Spark的常用配置参数讲解

最新推荐文章于 2024-08-01 19:34:14 发布
最新推荐文章于 2024-08-01 19:34:14 发布
阅读量5.5k 收藏 15
点赞数 2
分类专栏： spark 文章标签： spark yarn 参数配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/penriver/article/details/116143661
版权

本文针对在YARN上运行Spark的常用配置参数进行讲解

1. 在yarn上启动spark application

确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。

这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配置引用的Java系统属性或环境变量不是由YARN管理的，它们也应该在Spark应用程序的配置(driver, executor和AM)中设置

如在HDP 3.1.5中，部署spark 2.4, spark-env.sh的配置如下：

#!/usr/bin/env bash

export SPARK_CLASSPATH=/usr/hdp/current/tez-client:/usr/hdp/current/tez-client/lib:/usr/hdp/current/hive-client/lib:$SPARK_CLASSPATH
HADOOP_CONF_DIR=/etc/hadoop/conf
SPARK_MASTER_WEBUI_PORT=9090
export JAVA_HOME=/usr/java/jdk1.8.0_60
export HIVE_HOME=/usr/hdp/current/hive-client/bin
export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hdp01:8020/spark2.4-history"
export HDP_VERSION=3.1.5.0
SPARK_JAVA_OPTS= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps

在YARN上启动Spark应用程序有两种部署模式:

  • cluster模式下，Spark driver运行在集群中YARN管理的application master进程中，启动应用后客户端退出。

  • client模式下，driver运行在客户端进程中，application master程序仅用于向YARN请求资源。

不同于Spark支持的其他集群管理器(如Standalone, Mesos)，在--master参数中指定了master的地址，在YARN模式下，ResourceManager的地址从Hadoop配置中获取。因此，--master参数是yarn。

如启动一个计算pi的Spark程序，命令如下：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    10

2. spark-submit提交任务参数

2.1. 参数说明

蓝色字段是常用的参数

参数名称参数说明运行模式
--master

master 的地址，提交任务到哪里执行，支持5种：

spark://host:port,

mesos://host:port,

yarn,

k8s://https://host:port

local (Default: local[*])

all
--deploy-mode在本地 (client) 启动 driver 或在 cluster 上启动，默认是 clientall
--class应用程序的主类，仅针对 java 或 scala 应用 
--name应用程序名称all
--jars用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下all
--packages包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标all
--exclude-packages为了避免冲突 而指定不包含的 packageall
--repositories远程 repositoryall
--file用逗号分隔的文件，这些文件被放在每个executor的工作目录，并通过SparkFiles.get(fileName)访问all
--conf PROP=VALUE指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"all
--properties-file加载的配置文件，默认为 conf/spark-defaults.confall
--driver-memoryDriver内存，默认 1024Mall
--driver-java-options传给 driver 的额外的 Java 选项all
--driver-library-path传给 driver 的额外的库路径all
--driver-class-path传给 driver 的额外的类路径all
--executor-memory每个 executor 的内存，默认是1Gall
--driver-coresdriver使用的cpu核数，默认为1yarn/standalone
--total-executor-cores所有 executor 总共的核数。mesos/standalone
--executor-core每个 executor 的核数。yarn/standalone
--num-executors启动的 executor 数量。默认为2yarn
--queue提交应用程序给哪个YARN的队列，默认是default队列yarn
--archives被每个executor提取到工作目录的档案列表，用逗号隔开yarn

2.2. 命令示例

spark-shell --packages  mysql:mysql-connector-java:5.1.27 --repositories http://maven.aliyun.com/nexus/content/groups/public/

# yarn cluster提交，使用spark.driver.extraJavaOptions

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g  --executor-cores 1  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-driver.xml" --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.xml" --files=/opt/test/conf/log4j-driver.xml,/opt/test/conf/log4j-executor.xml --jars "/opt/test/slf4j-api-1.7.25.jar" spark-examples_2.11-2.4.7.jar 10

3. spark application配置参数

3.1. heap内存模型

       Spark 为了更高效的使用配置的堆内存，对堆内存进行了细分，下图（备注：此图源于互联网）对基于spark2(1.6+)对堆内存分配比例进行了描述

其中：

Reserved Memory 保留内存，系统默认值为300，一般无需改动，不用关心此部分内存。 但如果Executor分配的内存小于 1.5 * 300 = 450M时，Executor将无法执行。

Storage Memory 存储内存，用于存放广播数据及RDD缓存数据。由下图可知，Spark 2+中，初始状态下，Storage及Execution Memory均约占系统总内存的30%（1 * 0.6 * 0.5 = 0.3）。

在UnifiedMemory管理中，这两部分内存可以相互借用，为了方便描述,使用storageRegionSize来表示“spark.storage.storageFraction”。

当计算内存不足时，可以改造storageRegionSize中未使用部分，且StorageMemory需要存储内存时也不可被抢占； 若实际StorageMemory使用量超过storageRegionSize，那么当计算内存不足时，可以改造(StorageMemory – storageRegionSize)部分，而storageRegionSize部分不可被抢占。

详见参见：http://spark.apache.org/docs/2.4.0/configuration.html#memory-management

3.2. 参数说明

内存相关的配置项如下，默认值是指spark 2.4.x的默认值

配置项说明默认值
spark.executor.memory指JVM最大分配的堆内存【"-xmx" heap space - 300MB】中用于执行和存储的部分。这个值越低，溢出和缓存数据逐出（spills and cached data eviction）发生的频率就越高。此配置的目的是为内部元数据、用户数据结构预留内存，以及在稀疏、异常大的记录情况下不精确的大小估计0.6
spark.memory.storageFraction指不会被逐出的存储内存数量，表示为spark.memory.fraction预留区域大小的一部分。这个值越高，可用来执行的工作内存就越少，任务可能会更频繁地溢出到磁盘上0.5
spark.memory.useLegacyMode

 是否开启Spark 1.5及以前使用的遗留内存管理模式。遗留模式将堆空间严格地划分为固定大小的区域，如果没有对应用程序进行调优，可能会导致过度溢出。除非启用，否则不会读取以下已弃用的内存片段配置:

spark.shuffle.memoryFraction

spark.storage.memoryFraction

spark.storage.unrollFraction

false
spark.shuffle.memoryFraction(在spark 2.4中已弃用) 仅在spark.memory.useLegacyMode被启用时读取。在shuffle期间用于聚合和cogroups 的Java堆的一部分。在任何给定时间，用于shuffle的所有内存映射的集合大小都受此限制的限制，超过此限制，内容将开始溢出到磁盘。如果经常发生溢出，可以考虑以牺牲spark.storage.memoryFraction为代价增加这个值0.2
spark.storage.memoryFraction(在spark 2.4中已弃用)仅在spark.memory.useLegacyMode被启用时读取。用于Spark内存缓存的Java堆的一部分。这个值不应该大于JVM中对象的老生代(默认情况下为堆的0.6)，但是如果您配置自己的老代大小，可以增加它。0.6
spark.storage.unrollFraction(已弃用)仅在spark.memory.useLegacyMode被启用时读取。用于在内存中展开块的部分。这是通过在没有足够的空闲存储空间来展开整个新块时删除现有块来动态分配的。0.2
spark.executor.memoryOverhead

为每个执行程序分配的堆外内存（单位是MB). 用于 VM overheads, interned strings, other native overheads,等的内存。这倾向于随着executor 的数量而增长(通常是6-10%)。这个选项目前在YARN和Kubernetes上支持。

 

executorMemory * 0.10, with minimum of 384
spark.driver.memoryOverhead在集群模式下，每个driver分配的堆外内存的数量（单位是MB). 用于 VM overheads, interned strings, other native overheads,等的内存。它会随着container 数量而增长(通常是6-10%)。这个选项目前在YARN和Kubernetes上支持。driverMemory * 0.10, with minimum of 384
spark.yarn.am.memoryOverheadspark.driver一样。memoryOverhead，但是对于客户端模式下的YARN应用Master。AM memory * 0.10, with minimum of 384

以下参数已经弃用：

配置项说明默认值
spark.shuffle.consolidateFiles

如果使用HashShuffleManager，该参数有效。如果设置为true，那么就会开启consolidate机制，也就是开启优化后的HashShuffleManager。

作用：有效将多个task的磁盘文件进行一定程度上的合并，从而大幅度减少磁盘文件的数量，进而提升shuffle write的性能

目前使用SortShuffleManager

true

spark.yarn.executor.memoryOverhead

executor执行的时候，用的内存可能会超过executor-memoy，所以会为executor额外预留一部分内存。spark.yarn.executor.memoryOverhead代表了这部分内存。这个参数如果没有设置，会有一个自动计算公式(位于ClientArguments.scala中)，请使用spark.executor.memoryOverhead

 

executorMemory * 0.10, with minimum of 384

3.2. 使用示例

#代码
spark = (
    SparkSession.builder
        .master('yarn')
        .appName('StackOverflow')
        .config('spark.driver.memory', '35g')
        .config('spark.executor.cores', 5)
        .config('spark.executor.memory', '35g')
        .config('spark.dynamicAllocation.enabled', True)
        .config('spark.dynamicAllocation.maxExecutors', 25)
        .config('spark.yarn.executor.memoryOverhead', '4096')
        .getOrCreate()
)
sc = spark.sparkContext

#命令行
spark-submit --class com.suntek.algorithm.process.main \
   --master yarn \
   --driver-cores 1 \
   --num-executors 3 \
   --executor-cores 7 \
   --conf  "spark.driver.memory=1g" \
   --conf  "spark.executor.memory=3g" \
   --conf "spark.memory.fraction=0.8" \
   --conf "spark.memory.storageFraction=0.3" \
   --conf "spark.shuffle.memoryFraction=0.7" \
   --conf "spark.executor.memoryOverhead=3g" \
   --conf "spark.task.cpus=2" \
   --conf "spark.port.maxRetries=500" \

参考

http://spark.apache.org/docs/2.4.7/running-on-yarn.html

http://spark.apache.org/docs/2.4.7/configuration.html

enjoy编程
关注
专栏目录
Spark源码解析之Yarn Cluster模式启动流程源码解析
攸的博客
01-19 638
这里解读当sparksubmit提交模式为Yarn Cluster模式时的启动流程。 SparkSubmit类的runMain()中执行到start()时，本地模式会进入本地提交的--class类的main中开始执行。 // 启动实例 app.start(childArgs.toArray, sparkConf) 而Yarn Cluster模式，在prep...
spark on yarn 环境配置
qq_44779906的博客
10-20 339
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。-- 设置聚合日志在hdfs上的保存时间 -->-- 设置yarn集群的内存分配方案 -->-- 设置yarn历史服务器地址 -->-- 配置yarn主节点的位置 -->-- 关闭yarn内存检查 -->-- 开启日志聚合功能 -->
spark yarn.scheduler.exclude.nodes这个配置可以在提交任务的时候指定吗
weixin_35756637的博客
02-14 346
是的，spark.yarn.scheduler.exclude.nodes 这个配置是可以在提交任务的时候指定的。你可以通过在命令行中使用 --conf 选项来指定这个配置，例如： spark-submit--conf "spark.yarn.scheduler.exclude.nodes=node1,node2" ... 这样，提交的任务在运行的时候将不会调度到 node1 和 node2 这...
（四十一）大数据实战——spark的yarn模式生产环境部署
最新发布
厉害哥哥的博客
08-01 903
Spark 是一个开源的分布式计算系统。它提供了高效的数据处理能力，支持复杂的数据分析和处理任务，是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。
使用spark在yarn上运行
Romantic_sir的博客
11-13 364
①使用Yarn运行spark时,需要在spark-env.sh中添加以下行 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 注意：在您的环境中检查$HADOOP_HOME / etc / hadoop是否正确.而spark-env.sh也包含HADOOP_HOME的导出. ②修改/root/apps/hadoop-2.8.1/etc/hadoo...
Spark 在 Yarn 上运行 Spark 应用程序
SmartSi
07-29 1773
在Yarn上运行Spark提供了与其他Hadoop组件最紧密的集成，也是在已有Hadoop集群上使用Spark的最简单的方法。为了在Yarn上运行Spark应用程序，Spark提供了两种部署模式Client模式和Cluster模式。Client模式的Driver在客户端运行，而Cluster模式的Driver在Yarn的ApplicationMaster上运行。...
Spark 在YARN上运行
大强博客
01-31 5126
在YARN上运行Spark 安全 在YARN上启动Spark 添加其他JAR 准备工作 组态 调试您的应用程序 Spark特性 重要笔记 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部随机播放服务 使用Apache Oozie启动您的应用程序 使用Spark History Server替换Spark Web U...
Spark-on-YARN运行Spark程序
上等的猪头肉
01-14 648
1.官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2.配置安装 1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spark程序将作为YARN的客户端...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Spark在YARN上运行时，如果Executor失败，YARN会自动重新分配资源启动新的Executor，保证作业的连续性。通过配置`spark.yarn.maxAppAttempts`，可以设定最大重试次数。 10. **性能调优**： 为了提高效率，可以...
java提交spark任务到yarn平台的配置讲解共9页
11-21
这里，`--class`参数指定主类，`--master`和`--deploy-mode`用于指定运行模式，`--jars`包含额外的依赖，`--conf`用于设置Spark配置。 五、监控和调试 1. YARN Web UI：通过访问YARN的Web UI（默认为...
java yarn_JAVA语言提交spark任务到yarn平台的配置讲解
weixin_34365336的博客
02-15 1254
本文主要向大家介绍了JAVA语言提交spark任务到yarn平台的配置讲解，通过具体的内容向大家展示，希望对大家学习JAVA语言有所帮助。一、背景采用spark的方式处理，所以需要将spark的功能集成到代码，采用yarn客户端的方式管理spark任务。不需要将cdh的一些配置文件放到resource路径下，只需要配置一些配置即可，非常方便二、任务管理架构三、接口1、任务提交1./**2.*提...
Spark的On Yarn集群模式部署及参数详解
weixin_38097878的博客
05-12 1368
Spark的On Yarn集群模式部署 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 安装启动Hadoop（需要使用HDFS和YARN） 安装单机版Spark 这里不需要启动集群，因为把Spark程序提交到YARN运行本质上就是把字节码给YARN集群上的JVM运行，但是有一个东西帮我们把任务提交上到YARN，所以需要一个单机版的Spark，里面有spark-shell命令 - spark-submit 修改配置 在
YARN上Spark的资源分配配置
danpu0978的博客
04-24 804
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
java spark yarn_Spark在Yarn上运行Wordcount程序
weixin_42568801的博客
03-04 185
我们在接触 package org.apache.spark.examples;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark....
Spark集群运行在yarn上
不以物喜的博客
09-08 380
1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 2.1 安装hadoop 需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.2 安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spark程序将作为YARN的客户端用于提交任务 export JAVA_HOME=/usr/local/jdk1.8.0_131 exp
spark yarn-cluster模式参数配置
bigdataprimary的博客
10-19 1886
现象：在提交spark任务时指定executor-memory 2g时报错 Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Required executor memory (2048+384 MB) is above the max ...
Spark-yarn环境配置
Lv的程序人生
11-19 2541
一、spark-env.sh1.配置hadoop的配置文件 export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop 二、spark-defaults.conf1.配置spark依赖的文件并上传到hdfs中 spark.yarn.jar=hdfs:///user/spark/jars/spark-assembly-1.6.0-hadoop2.4.0.jar
第十二章 spark配置Yarn模式（混合部署模式）
开朗小哥的博客
02-20 2720
系列文章： 第一章 Hadoop集群搭建的准备 第二章 Hadoop集群搭建 第三章 Zookeeper分布式集群部署（2n+1台虚拟机） 第四章 Hadoop高可用集群搭建（HA） 待更新 第九章 spark独立模式部署（Standalone） 第十章 spark配置历史服务 第十一章 搭建Spark高可用（HA） 第十二章 spark配置Yarn模式 待更新 文章目录Spark设置Yarn模式1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN
Spark On YARN环境配置
feizuiku0116的博客
02-06 2951
一、准备工作 点击查看Spark Standalone HA环境配置教程 二、修改配置文件 一、修改spark-env.sh cd /export/server/spark/conf vim /export/server/spark/conf/spark-env.sh # 添加以下内容 HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/ YARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/
Spark运行模式全解析：local、standalone与Yarn命令示例
该资源提供的是Spark 2017年的最新运行命令样例，涵盖了Spark在三种运行模式（local、standalone和Yarn）下的提交指令。作者提供了其个人GitHub链接，意在分享更多相关资源。 正文： Spark是大数据处理领域的一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

enjoy编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值