【解决】Spark On Yarn执行中executor内存限制问题

最新推荐文章于 2024-10-11 00:20:43 发布
最新推荐文章于 2024-10-11 00:20:43 发布
阅读量6.9k 收藏 2
点赞数
分类专栏： 批量:Hive/Spark/Hbas 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BDCHome/article/details/45419883
版权
在Spark 1.3.1 + Hadoop 2.6-CDH5.4环境下，启动Spark SQL JDBC服务遇到executor内存不足的问题。解决办法是调整Yarn配置，将`yarn.nodemanager.resource.memory-mb`设置为executor-memory（15g）加上driver内存（512m），例如设置为16g，并确保该值高于集群的最大内存限制。此调整需同时在NodeManager和ResourceManager的配置中进行。
摘要由CSDN通过智能技术生成

[Author]:  kwu

集群版本 Spark1.3.1 + Hadoop.2.6-CDH5.4

启动Spark-SQL的JDBC服务，如下：

start-thriftserver.sh --master yarn-client --executor-memory 15g --num-executors 13 

提示内存不足

Required executor memory (xxx MB) is above the max threshold (xxx MB) of this cluster!


解决方案，修改Yarn的配置文件：

1、yarn.nodemanager.resource.memory-mb 容器内存

设置为 至少 : executor-memory(15g) + driver(512m)的内存，如上例可配置为 16g


2、yarn.scheduler.maximum-allocation-mb 最大容器内存

设置为 至少 : executor-memory(15g) + driver(512m)的内存，如上例可配置为 16g


第一个参数为NodeManager的配置 ，第二个参数为 ResourceManager的配置。


参看截图：

1） 整合在YARN中

最低0.47元/天 解锁文章
大数据部
关注
专栏目录
为什么分配给Spark的Executor数量和Cores与请求值不符？
Laurence的技术博客
08-28 511
作为的姊妹篇，我们再来看另外一种更“离奇”的情况，这种情况下，Spark UI上显示的Executor数量和每个Executor占用的核数与请求值完全对应不上。如果再仔细观察一下可以发现如下规律：实际分配的Executor数量往往比申请的数量少，单个Executor的合数一般比申请的值大，但是：总的分配的核数与申请的数量（）是可以对齐的。特别说明的是：本文描述的情况排除了集群不足和EMR 6.11），OSS Spark没有此问题。接下来，我们先看一下测试的情况。
Spark提交yarn虚拟内存不足任务失败
anddyhua's Cookbook
07-21 6460
19/07/20 18:06:06 INFO yarn.Client: client token: N/A diagnostics: N/A ApplicationMaster host: BG001 ApplicationMaster RPC port: 34351 queue: default ...
CDH SparkOnYarn执行中executor内存限制问题
YZJ8819的博客
03-08 1027
因为配置了spark如下参数，启动spark-shell报错 export SPARK_WORKER_CORES=5 export SPARK_WORKER_INSTANCES=4 export SPARK_WORKER_MEMORY=50G export SPARK_WORKER_WEBUI_PORT=8081 export SPARK_EXECUTOR_CORES=2 ...
spark executo-memory最大限制点
那又怎样？的博客
02-25 1119
转载来自：https://www.jianshu.com/p/391f8776e66f 重点： （1） executorMem = args.executorMemory + executorMemoryOverhead < yarn.scheduler.maximum-allocation-mb （2） 这里还有一点需要注意，executor-memory设置的是exec...
【大数据】Spark Executor内存分配原理与调优
最新发布
十一月廿七风雨大作
10-11 3893
我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对 Spark 进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现问题。
记一次Yarn Required executor memeory is above the max threshold(8192MB) of this cluster!
南风知我意
06-07 511
Sparn on Yarn场景下执行Spark任务时，单个executor的memeory设置超过8G就会报以下错误，这是yarn设置不合理导致的，yarn默认单个nodemanager为8G资源，这是不合理的，因此我在集群上对此做出调整。 调整后表现...
Spark on Yarn中的Executor内存设置
IT_心如止水的博客
05-13 1315
目录 背景介绍 Yarn Spark Spark on Yarn Executor内存设置 背景介绍 Yarn yarn是一个主从型的计算资源管理系统，包含一个ResourceManager和多个NodeManager。其中ResourceManager负责整个集群的资源调度，管理NodeManager；NodeManager负责管理单个节点。 Spark Spark是一种分布式计算框架，可以在多种集群资源管理器上运行。Spark计算任务运行时，会首先运行一个driver，相当于
Spark on Yarn之Executor内存管理 - 简书1
08-04
JVM堆内存大小由`--executor-memory`（即`spark.executor.memory`）参数决定，这是Executor中所有并发任务共享的内存。而JVM OffHeap内存，主要用于JVM自身开销，例如字符串和NIO Buffer，其大小由`spark.yarn....
Spark On Yarn 中Executor 内存分配的机制
zhuiqiuuuu的博客
01-18 8647
问题导读1. Spark On Yarn 下executor-memory 参数如何生效？2. Cluster 和 Client 模式中 内存开销的区别？3. 规整化因子是什么？ 综述  提交任务时，配置的executor-memory 的参数，设置为6g，结果实际运行中，占据的资源算下来，每个executor 使用的却接近7个g，被管理集群的同事找上门，逃。 那么，为何会配置的参数没有生效呢？...
YARN上Spark的资源分配配置
danpu0978的博客
04-24 816
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
spark启动的worker节点是localhost_Spark系列--提交任务流程
weixin_39716264的博客
11-26 266
1.Spark基于StandaLone的任务提交模式StandaLone提交任务有两种模式，一种是基于客户端Client提交任务，另一种是集群cluster提交任务。首先来看基于客户端提交任务：提交命令为：./spark-submit --master spark://node1:7077 --deploy-mode client --class jar包它执行的流程大致如下：1.当有了客户...
Cloudera Manager启动Spark报内存超出限制的错误：Required executor memory (1024+384 MB) is above the max threshold
sunfect的博客
01-07 4687
启动Spark-Shell报错： java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-all...
Spark On YARN内存分配
lulynn的博客
09-02 1969
http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 非常好的文章，推荐。 本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同
Spark关于内存大小过低报错解决
kamisamak的博客
06-05 864
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.IllegalArgumentException: Required executor memory (1024), overh...
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的
u012106430的博客
12-17 541
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的 参数设置为spark.driver.memory=2g web展示下过如下： spark1.6前后有两种不同的计算模型： 静态内存模型: 统一内存管理模型: 官方计算公式： 静态内存管理内存计算公式： ExecutionMemory = systemMemory * spark.shuffle.memoryFraction* spark.shuffle.safetyFraction= executor-memory*0.2*0.8
CM启动Spark报Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above
summer089089的博客
12-04 2905
1.现象 启动Spark-Shell报错： ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (1024 MB) of this cluster! Please
简单搞定Spark性能优化:常见异常解决（二）
github_36444580的博客
05-24 2423
第一部分内容链接：https://blog.csdn.net/github_36444580/article/details/117037685 11.ERROR shuffle.RetryingBlockFetcher: Failed to fetch block shuffle_7_18444_7412, and will not retry 原因：Executor被kill，无法拉取该block。可能是开启AE特性时数据倾斜造成的，其他executor都已完成工作被回收，只有倾斜的exec..
Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster!
weixin_33801856的博客
03-15 2518
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark on Yarn遇到的几个问题及解决思路
热门推荐
guohecang的博客
10-09 1万+
Spark on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值