Spark中executor-memory参数详解

最新推荐文章于 2024-09-20 17:16:59 发布

孤数不证

最新推荐文章于 2024-09-20 17:16:59 发布

阅读量3.5k

点赞数

本文链接：https://blog.csdn.net/weixin_43668299/article/details/107036763

版权

本文探讨了在Spark中如何设置executor-memory参数，重点分析了`yarn.scheduler.maximum-allocation-mb`和`spark.yarn.executor.memoryOverhead`两个关键参数的影响。计算公式展示了executor-memory的最大值，并提供了一个实例，说明在YARN环境下executor-memory的最大配置不能超过6144MB，并解释了内存预留的机制。

摘要由CSDN通过智能技术生成

我们知道，spark执行的时候，可以通过 --executor-memory 来设置executor执行时所需的memory。但如果设置的过大，程序是会报错的，如下

555.png
那么这个值最大能设置多少呢？本文来分析一下。文中安装的是Spark1.6.1，安装在hadoop2.7上。

1、相关的2个参数
1.1 yarn.scheduler.maximum-allocation-mb
这个参数表示每个container能够申请到的最大内存，一般是集群统一配置。Spark中的executor进程是跑在container中，所以container的最大内存会直接影响到executor的最大可用内存。当你设置一个比较大的内存时，日志中会报错，同时会打印这个参数的值。如下图，6144MB，即6G。

666.png
1.2 spark.yarn.executor.memoryOverhead
executor执行的时候，用的内存可能会超过executor-memoy，所以会为executor额外预留一部分内存。spark.yarn.executor.memoryOverhead代表了这部分内存。这个参数如果没有设置，会有一个自动计算公式(位于ClientArguments.scala中)，代码如下：

777.png
其中，MEMORY_OVERHEAD_FACTOR默认为0.1，executorMemory为设置的executor-memory, MEMORY_OVERHEAD_MIN默认为384m。参数MEMORY_OVERHEAD_FACTOR和MEMORY_OVERHEAD_MIN一般不能直接修改，是Spark代码中直接写死的。

2、executor-memory计算
计算公式：

val e