【解决】Spark On Yarn执行中executor内存限制问题

最新推荐文章于 2022-06-07 10:19:12 发布
最新推荐文章于 2022-06-07 10:19:12 发布
阅读量6.9k 收藏 2
点赞数
分类专栏： 批量:Hive/Spark/Hbas 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bdchome/article/details/45419883
版权
在Spark 1.3.1 + Hadoop 2.6-CDH5.4环境下，启动Spark SQL JDBC服务遇到executor内存不足的问题。解决办法是调整Yarn配置，将`yarn.nodemanager.resource.memory-mb`设置为executor-memory（15g）加上driver内存（512m），例如设置为16g，并确保该值高于集群的最大内存限制。此调整需同时在NodeManager和ResourceManager的配置中进行。
摘要由CSDN通过智能技术生成

[Author]:  kwu

集群版本 Spark1.3.1 + Hadoop.2.6-CDH5.4

启动Spark-SQL的JDBC服务，如下：

start-thriftserver.sh --master yarn-client --executor-memory 15g --num-executors 13 

提示内存不足

Required executor memory (xxx MB) is above the max threshold (xxx MB) of this cluster!


解决方案，修改Yarn的配置文件：

1、yarn.nodemanager.resource.memory-mb 容器内存

设置为 至少 : executor-memory(15g) + driver(512m)的内存，如上例可配置为 16g


2、yarn.scheduler.maximum-allocation-mb 最大容器内存

设置为 至少 : executor-memory(15g) + driver(512m)的内存，如上例可配置为 16g


第一个参数为NodeManager的配置 ，第二个参数为 ResourceManager的配置。


参看截图：

1） 整合在YARN中

最低0.47元/天 解锁文章
大数据部
关注
专栏目录
为什么分配给Spark的Executor数量和Cores与请求值不符？
Laurence的技术博客
08-28 469
作为的姊妹篇，我们再来看另外一种更“离奇”的情况，这种情况下，Spark UI上显示的Executor数量和每个Executor占用的核数与请求值完全对应不上。如果再仔细观察一下可以发现如下规律：实际分配的Executor数量往往比申请的数量少，单个Executor的合数一般比申请的值大，但是：总的分配的核数与申请的数量（）是可以对齐的。特别说明的是：本文描述的情况排除了集群不足和EMR 6.11），OSS Spark没有此问题。接下来，我们先看一下测试的情况。
Spark on Yarn中的Executor内存设置
IT_心如止水的博客
05-13 1288
目录 背景介绍 Yarn Spark Spark on Yarn Executor内存设置 背景介绍 Yarn yarn是一个主从型的计算资源管理系统，包含一个ResourceManager和多个NodeManager。其中ResourceManager负责整个集群的资源调度，管理NodeManager；NodeManager负责管理单个节点。 Spark Spark是一种分布式计算框架，可以在多种集群资源管理器上运行。Spark计算任务运行时，会首先运行一个driver，相当于
CDH SparkOnYarn执行中executor内存限制问题
YZJ8819的博客
03-08 1009
因为配置了spark如下参数，启动spark-shell报错 export SPARK_WORKER_CORES=5 export SPARK_WORKER_INSTANCES=4 export SPARK_WORKER_MEMORY=50G export SPARK_WORKER_WEBUI_PORT=8081 export SPARK_EXECUTOR_CORES=2 ...
spark executo-memory最大限制点
那又怎样？的博客
02-25 1094
转载来自：https://www.jianshu.com/p/391f8776e66f 重点： （1） executorMem = args.executorMemory + executorMemoryOverhead < yarn.scheduler.maximum-allocation-mb （2） 这里还有一点需要注意，executor-memory设置的是exec...
记一次Yarn Required executor memeory is above the max threshold(8192MB) of this cluster!
南风知我意
06-07 490
Sparn on Yarn场景下执行Spark任务时，单个executor的memeory设置超过8G就会报以下错误，这是yarn设置不合理导致的，yarn默认单个nodemanager为8G资源，这是不合理的，因此我在集群上对此做出调整。 调整后表现...
Spark On Yarn 中Executor 内存分配的机制
zhuiqiuuuu的博客
01-18 8615
问题导读1. Spark On Yarn 下executor-memory 参数如何生效？2. Cluster 和 Client 模式中 内存开销的区别？3. 规整化因子是什么？ 综述  提交任务时，配置的executor-memory 的参数，设置为6g，结果实际运行中，占据的资源算下来，每个executor 使用的却接近7个g，被管理集群的同事找上门，逃。 那么，为何会配置的参数没有生效呢？...
Spark on Yarn之Executor内存管理 - 简书1
08-04
JVM堆内存大小由`--executor-memory`（即`spark.executor.memory`）参数决定，这是Executor中所有并发任务共享的内存。而JVM OffHeap内存，主要用于JVM自身开销，例如字符串和NIO Buffer，其大小由`spark.yarn....
YARN上Spark的资源分配配置
danpu0978的博客
04-24 801
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
spark启动的worker节点是localhost_Spark系列--提交任务流程
weixin_39716264的博客
11-26 255
1.Spark基于StandaLone的任务提交模式StandaLone提交任务有两种模式，一种是基于客户端Client提交任务，另一种是集群cluster提交任务。首先来看基于客户端提交任务：提交命令为：./spark-submit --master spark://node1:7077 --deploy-mode client --class jar包它执行的流程大致如下：1.当有了客户...
Cloudera Manager启动Spark报内存超出限制的错误：Required executor memory (1024+384 MB) is above the max threshold
sunfect的博客
01-07 4665
启动Spark-Shell报错： java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-all...
Spark On YARN内存分配
lulynn的博客
09-02 1948
http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 非常好的文章，推荐。 本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同
Spark提交yarn虚拟内存不足任务失败
anddyhua's Cookbook
07-21 6426
19/07/20 18:06:06 INFO yarn.Client: client token: N/A diagnostics: N/A ApplicationMaster host: BG001 ApplicationMaster RPC port: 34351 queue: default ...
Spark关于内存大小过低报错解决
kamisamak的博客
06-05 841
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.IllegalArgumentException: Required executor memory (1024), overh...
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的
u012106430的博客
12-17 525
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的 参数设置为spark.driver.memory=2g web展示下过如下： spark1.6前后有两种不同的计算模型： 静态内存模型: 统一内存管理模型: 官方计算公式： 静态内存管理内存计算公式： ExecutionMemory = systemMemory * spark.shuffle.memoryFraction* spark.shuffle.safetyFraction= executor-memory*0.2*0.8
CM启动Spark报Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above
summer089089的博客
12-04 2844
1.现象 启动Spark-Shell报错： ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (1024 MB) of this cluster! Please
简单搞定Spark性能优化:常见异常解决（二）
github_36444580的博客
05-24 2324
第一部分内容链接：https://blog.csdn.net/github_36444580/article/details/117037685 11.ERROR shuffle.RetryingBlockFetcher: Failed to fetch block shuffle_7_18444_7412, and will not retry 原因：Executor被kill，无法拉取该block。可能是开启AE特性时数据倾斜造成的，其他executor都已完成工作被回收，只有倾斜的exec..
Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster!
weixin_33801856的博客
03-15 2491
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark on Yarn遇到的几个问题及解决思路
热门推荐
guohecang的博客
10-09 1万+
Spark on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
深入理解Spark on Yarn Executor内存管理与常见问题解决
Spark on Yarn是Apache Spark在Hadoop YARN（Yet Another Resource Negotiator）平台上的运行架构，它将工作负载分布到多台计算节点（Worker Node）上的Executor进程中。Executor内存管理是确保Spark性能的关键环节...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值