在YARN上运行Spark的常用配置参数讲解

最新推荐文章于 2024-08-01 19:34:14 发布
最新推荐文章于 2024-08-01 19:34:14 发布
阅读量5.5k 收藏 15
点赞数 2
分类专栏： spark 文章标签： spark yarn 参数配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/penriver/article/details/116143661
版权

本文针对在YARN上运行Spark的常用配置参数进行讲解

1. 在yarn上启动spark application

确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。

这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配置引用的Java系统属性或环境变量不是由YARN管理的，它们也应该在Spark应用程序的配置(driver, executor和AM)中设置

如在HDP 3.1.5中，部署spark 2.4, spark-env.sh的配置如下：

#!/usr/bin/env bash

export SPARK_CLASSPATH=/usr/hdp/current/tez-client:/usr/hdp/current/tez-client/lib:/usr/hdp/current/hive-client/lib:$SPARK_CLASSPATH
HADOOP_CONF_DIR=/etc/hadoop/conf
SPARK_MASTER_WEBUI_PORT=9090
export JAVA_HOME=/usr/java/jdk1.8.0_60
export HIVE_HOME=/usr/hdp/current/hive-client/bin
export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hdp01:8020/spark2.4-history"
export HDP_VERSION=3.1.5.0
SPARK_JAVA_OPTS= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps

在YARN上启动Spark应用程序有两种部署模式:

  • cluster模式下，Spark driver运行在集群中YARN管理的application master进程中，启动应用后客户端退出。

  • client模式下，driver运行在客户端进程中，application master程序仅用于向YARN请求资源。

不同于Spark支持的其他集群管理器(如Standalone, Mesos)，在--master参数中指定了master的地址，在YARN模式下，ResourceManager的地址从Hadoop配置中获取。因此，--master参数是yarn。

如启动一个计算pi的Spark程序，命令如下：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    10

2. spark-submit提交任务参数

2.1. 参数说明

蓝色字段是常用的参数

参数名称参数说明运行模式
--master

master 的地址，提交任务到哪里执行，支持5种：

spark://host:port,

mesos://host:port,

yarn,

k8s://https://host:port

local (Default: local[*])

all
--deploy-mode在本地 (client) 启动 driver 或在 cluster 上启动，默认是 clientall
--class应用程序的主类，仅针对 java 或 scala 应用 
--name应用程序名称all
--jars用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下all
--packages包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标all
--exclude-packages为了避免冲突 而指定不包含的 packageall
--repositories远程 repositoryall
--file用逗号分隔的文件，这些文件被放在每个executor的工作目录，并通过SparkFiles.get(fileName)访问all
--conf PROP=VALUE指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"all
--properties-file加载的配置文件，默认为 conf/spark-defaults.confall
--driver-memoryDriver内存，默认 1024Mall
--driver-java-options传给 driver 的额外的 Java 选项all
--driver-library-path传给 driver 的额外的库路径all
--driver-class-path传给 driver 的额外的类路径all
--executor-memory每个 executor 的内存，默认是1Gall
--driver-coresdriver使用的cpu核数，默认为1yarn/standalone
--total-executor-cores所有 executor 总共的核数。mesos/standalone
--executor-core每个 executor 的核数。yarn/standalone
--num-executors启动的 executor 数量。默认为2yarn
--queue提交应用程序给哪个YARN的队列，默认是default队列yarn
--archives被每个executor提取到工作目录的档案列表，用逗号隔开yarn

2.2. 命令示例

spark-shell --packages  mysql:mysql-connector-java:5.1.27 --repositories http://maven.aliyun.com/nexus/content/groups/public/

# yarn cluster提交，使用spark.driver.extraJavaOptions

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g  --executor-cores 1  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-driver.xml" --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.xml" --files=/opt/test/conf/log4j-driver.xml,/opt/test/conf/log4j-executor.xml --jars "/opt/test/slf4j-api-1.7.25.jar" spark-examples_2.11-2.4.7.jar 10

3. spark application配置参数

3.1. heap内存模型

       Spark 为了更高效的使用配置的堆内存，对堆内存进行了细分，下图（备注：此图源于互联网）对基于spark2(1.6+)对堆内存分配比例进行了描述

其中：

Reserved Memory 保留内存，系统默认值为300，一般无需改动，不用关心此部分内存。 但如果Executor分配的内存小于 1.5 * 300 = 450M时，Executor将无法执行。

Storage Memory 存储内存，用于存放广播数据及RDD缓存数据。由下图可知，Spark 2+中，初始状态下，Storage及Execution Memory均约占系统总内存的30%（1 * 0.6 * 0.5 = 0.3）。

在UnifiedMemory管理中，这两部分内存可以相互借用，为了方便描述,使用storageRegionSize来表示“spark.storage.storageFraction”。

当计算内存不足时，可以改造storageRegionSize中未使用部分，且StorageMemory需要存储内存时也不可被抢占； 若实际StorageMemory使用量超过storageRegionSize，那么当计算内存不足时，可以改造(StorageMemory – storageRegionSize)部分，而storageRegionSize部分不可被抢占。

详见参见：http://spark.apache.org/docs/2.4.0/configuration.html#memory-management

3.2. 参数说明

内存相关的配置项如下，默认值是指spark 2.4.x的默认值

配置项说明默认值
spark.executor.memory指JVM最大分配的堆内存【"-xmx" heap space - 300MB】中用于执行和存储的部分。这个值越低，溢出和缓存数据逐出（spills and cached data eviction）发生的频率就越高。此配置的目的是为内部元数据、用户数据结构预留内存，以及在稀疏、异常大的记录情况下不精确的大小估计0.6
spark.memory.storageFraction指不会被逐出的存储内存数量，表示为spark.memory.fraction预留区域大小的一部分。这个值越高，可用来执行的工作内存就越少，任务可能会更频繁地溢出到磁盘上0.5
spark.memory.useLegacyMode

 是否开启Spark 1.5及以前使用的遗留内存管理模式。遗留模式将堆空间严格地划分为固定大小的区域，如果没有对应用程序进行调优，可能会导致过度溢出。除非启用，否则不会读取以下已弃用的内存片段配置:

spark.shuffle.memoryFraction

spark.storage.memoryFraction

spark.storage.unrollFraction

false
spark.shuffle.memoryFraction(在spark 2.4中已弃用) 仅在spark.memory.useLegacyMode被启用时读取。在shuffle期间用于聚合和cogroups 的Java堆的一部分。在任何给定时间，用于shuffle的所有内存映射的集合大小都受此限制的限制，超过此限制，内容将开始溢出到磁盘。如果经常发生溢出，可以考虑以牺牲spark.storage.memoryFraction为代价增加这个值0.2
spark.storage.memoryFraction(在spark 2.4中已弃用)仅在spark.memory.useLegacyMode被启用时读取。用于Spark内存缓存的Java堆的一部分。这个值不应该大于JVM中对象的老生代(默认情况下为堆的0.6)，但是如果您配置自己的老代大小，可以增加它。0.6
spark.storage.unrollFraction(已弃用)仅在spark.memory.useLegacyMode被启用时读取。用于在内存中展开块的部分。这是通过在没有足够的空闲存储空间来展开整个新块时删除现有块来动态分配的。0.2
spark.executor.memoryOverhead

为每个执行程序分配的堆外内存（单位是MB). 用于 VM overheads, interned strings, other native overheads,等的内存。这倾向于随着executor 的数量而增长(通常是6-10%)。这个选项目前在YARN和Kubernetes上支持。

 

executorMemory * 0.10, with minimum of 384
spark.driver.memoryOverhead在集群模式下，每个driver分配的堆外内存的数量（单位是MB). 用于 VM overheads, interned strings, other native overheads,等的内存。它会随着container 数量而增长(通常是6-10%)。这个选项目前在YARN和Kubernetes上支持。driverMemory * 0.10, with minimum of 384
spark.yarn.am.memoryOverheadspark.driver一样。memoryOverhead，但是对于客户端模式下的YARN应用Master。AM memory * 0.10, with minimum of 384

以下参数已经弃用：

配置项说明默认值
spark.shuffle.consolidateFiles

如果使用HashShuffleManager，该参数有效。如果设置为true，那么就会开启consolidate机制，也就是开启优化后的HashShuffleManager。

作用：有效将多个task的磁盘文件进行一定程度上的合并，从而大幅度减少磁盘文件的数量，进而提升shuffle write的性能

目前使用SortShuffleManager

true

spark.yarn.executor.memoryOverhead

executor执行的时候，用的内存可能会超过executor-memoy，所以会为executor额外预留一部分内存。spark.yarn.executor.memoryOverhead代表了这部分内存。这个参数如果没有设置，会有一个自动计算公式(位于ClientArguments.scala中)，请使用spark.executor.memoryOverhead

 

executorMemory * 0.10, with minimum of 384

3.2. 使用示例

#代码
spark = (
    SparkSession.builder
        .master('yarn')
        .appName('StackOverflow')
        .config('spark.driver.memory', '35g')
        .config('spark.executor.cores', 5)
        .config('spark.executor.memory', '35g')
        .config('spark.dynamicAllocation.enabled', True)
        .config('spark.dynamicAllocation.maxExecutors', 25)
        .config('spark.yarn.executor.memoryOverhead', '4096')
        .getOrCreate()
)
sc = spark.sparkContext

#命令行
spark-submit --class com.suntek.algorithm.process.main \
   --master yarn \
   --driver-cores 1 \
   --num-executors 3 \
   --executor-cores 7 \
   --conf  "spark.driver.memory=1g" \
   --conf  "spark.executor.memory=3g" \
   --conf "spark.memory.fraction=0.8" \
   --conf "spark.memory.storageFraction=0.3" \
   --conf "spark.shuffle.memoryFraction=0.7" \
   --conf "spark.executor.memoryOverhead=3g" \
   --conf "spark.task.cpus=2" \
   --conf "spark.port.maxRetries=500" \

参考

http://spark.apache.org/docs/2.4.7/running-on-yarn.html

http://spark.apache.org/docs/2.4.7/configuration.html

enjoy编程
关注
专栏目录
java提交spark任务到yarn平台的配置讲解共9页
11-21
这里，`--class`参数指定主类，`--master`和`--deploy-mode`用于指定运行模式，`--jars`包含额外的依赖，`--conf`用于设置Spark配置。 五、监控和调试 1. YARN Web UI：通过访问YARN的Web UI（默认为...
Spark源码解析之Yarn Cluster模式启动流程源码解析
攸的博客
01-19 638
这里解读当sparksubmit提交模式为Yarn Cluster模式时的启动流程。 SparkSubmit类的runMain()中执行到start()时，本地模式会进入本地提交的--class类的main中开始执行。 // 启动实例 app.start(childArgs.toArray, sparkConf) 而Yarn Cluster模式，在prep...
spark yarn.scheduler.exclude.nodes这个配置可以在提交任务的时候指定吗
weixin_35756637的博客
02-14 346
是的，spark.yarn.scheduler.exclude.nodes 这个配置是可以在提交任务的时候指定的。你可以通过在命令行中使用 --conf 选项来指定这个配置，例如： spark-submit--conf "spark.yarn.scheduler.exclude.nodes=node1,node2" ... 这样，提交的任务在运行的时候将不会调度到 node1 和 node2 这...
（四十一）大数据实战——spark的yarn模式生产环境部署
最新发布
厉害哥哥的博客
08-01 899
Spark 是一个开源的分布式计算系统。它提供了高效的数据处理能力，支持复杂的数据分析和处理任务，是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。
Spark 在 Yarn 上运行 Spark 应用程序
SmartSi
07-29 1770
在Yarn上运行Spark提供了与其他Hadoop组件最紧密的集成，也是在已有Hadoop集群上使用Spark的最简单的方法。为了在Yarn上运行Spark应用程序，Spark提供了两种部署模式Client模式和Cluster模式。Client模式的Driver在客户端运行，而Cluster模式的Driver在Yarn的ApplicationMaster上运行。...
Spark on YARN部署模式保姆级教程
weixin_65875490的博客
01-10 2390
没有最好的部署模式，具体要根据实际需求进行部署，由于Spark可以和Hadoop部署在一起，相互协作，Hadoop的HDFS，HBase负责数据存储与管理，Spark负责数据的计算，所以本文将详细讲解Spark on YARN模式的部署。这两种模式的选择取决于实际需求和使用环境，例如，学习、调试阶段可能更适合使用YARN-Client模式，而在生产环境中则常使用YARN-Cluster模式。在Spark中，根据运行模式的不同，有两种提交任务的方式：YARN-Client和YARN-Cluster。
Spark环境搭建（Hadoop YARN模式）
m0_48639280的博客
12-30 3204
按照前面环境部署中所学习的，如果我们想要一个稳定的生产Spark环境，那么最优的选择就是构建：HA StandAlone集群。不过在企业中， 服务器的资源总是紧张的，许多企业不管做什么业务，都基本上会有Hadoop集群。也就是会有YARN集群。对于企业来说，在已有YARN集群的前提下在单独准备Spark StandAlone集群,对资源的利用就不高。所以， 在企业中，多数场景下，会将Spark运行到YARN集群中。
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 5785
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
Yarn、Spark架构及其对比
cjl的博客
10-19 828
Yarn、Spark架构比对与执行流程YARN的架构Yarn执行流程spark 架构(Standalone模式) YARN的架构 ResourceManager: RM 资源管理器 整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度 处理客户端的请求： submit, kill 监控我们的NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉我们的AM来如何进行处理 NodeManager: NM 节点管理器 整个集群中有多个，负责自己本身节点资源管理和使用 定时向RM汇报本节点
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Spark在YARN上运行时，如果Executor失败，YARN会自动重新分配资源启动新的Executor，保证作业的连续性。通过配置`spark.yarn.maxAppAttempts`，可以设定最大重试次数。 10. **性能调优**： 为了提高效率，可以...
yarn架构与讲解
04-25
在MapReduce作业中，合理配置参数对提升作业性能至关重要。以下是一些关键的设置参数： - **mapreduce.map.sort.spill.percent**：指定溢写阈值，即何时将数据从内存溢写到磁盘。 - **mapreduce.job.reduces**：...
spark全套视频教程
02-03
2. **Spark安装与配置**：学习如何在不同的操作系统上安装Spark，并配置分布式环境，如在本地模式、standalone模式、YARN或Mesos集群上运行Spark。 3. **Spark Shell与Spark SQL**：Spark Shell是交互式探索数据的...
spark配置(7)--on yarn配置
06-26 98
vim /usr/local/spark/conf/spark-env.shexport SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)export SCALA_HOME=/usr/local/scalaexport JAVA_HOME=/opt/jdk1.8.0_65export SPARK_MASTER=l...
大数据之Yarn和Spark配置与说明
延宝小白马的博客
08-20 405
Executor关闭后，其输出的文件，也就无法供其他Executor使用了。在将NodeManager的总内存平均分配给每个Executor，最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。此处的Executor个数是指分配给一个Spark应用的Executor个数，Executor个数对于Spark应用的执行速度有很大的影响，所以Executor个数的确定十分重要。
【Spark】【第三章】 Spark运行环境
weixin_43589563的博客
11-18 1627
本地模式 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境我们称之为开发环境，不太一样。 1.解压缩文件 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格，课件后续如果涉及到解压缩操作，不再强调 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module cd /opt/mod
Spark on YARN 部署搭建详细图文教程
Stars.Sky 的博客
09-15 8586
Spark on YARN 部署搭建详细图文教程
spark采用命令行方式提交的配置说明（yarn模式）-持续更新
xfysq_的博客
03-29 744
spark采用命令行方式提交的配置说明（yarn模式）
Spark原理、Yarn 、资源参数
.
02-27 2046
一、名词解释： 1、master节点： 常驻master进程，负责管理全部worker节点。Master其实就是调度资源，还有就是集群的监控 2、worker节点： 常驻worker进程，负责管理executor并与master节点通信。进行资源的分配，一个物理节点可以有一个或多个worker。一个worker中可以有一个或多个executor，一个executor拥有多个cpu core和memory。 3、driver： Spark驱...
spark在yarn模式下的安装部署
m0_49159859的博客
03-01 1548
1.安装部署 [0]下载spark安装包 [1]解压spark tar -zxf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/; 2.配置历史服务器 3.配置查看历史服务器
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

enjoy编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值