【解决】Spark On Yarn执行中executor内存限制问题

最新推荐文章于 2022-06-07 10:19:12 发布
最新推荐文章于 2022-06-07 10:19:12 发布
阅读量4.6k 收藏 1
点赞数 1
分类专栏： Spark 文章标签： spark 内存 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kwu_ganymede/article/details/49094895
版权

解决Spark On Yarn执行中executor内存限制问题

集群版本 Spark1.3.1 + Hadoop.2.6-CDH5.4

启动Spark-SQL的JDBC服务，如下：

start-thriftserver.sh --master yarn-client --executor-memory 15g --num-executors 13 

提示内存不足

Required executor memory (xxx MB) is above the max threshold (xxx MB) of this cluster!


最低0.47元/天 解锁文章
kwu_ganymede
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
为什么分配给Spark的Executor数量和Cores与请求值不符？
Laurence的技术博客
08-28 435
作为的姊妹篇，我们再来看另外一种更“离奇”的情况，这种情况下，Spark UI上显示的Executor数量和每个Executor占用的核数与请求值完全对应不上。如果再仔细观察一下可以发现如下规律：实际分配的Executor数量往往比申请的数量少，单个Executor的合数一般比申请的值大，但是：总的分配的核数与申请的数量（）是可以对齐的。特别说明的是：本文描述的情况排除了集群不足和EMR 6.11），OSS Spark没有此问题。接下来，我们先看一下测试的情况。
CDH SparkOnYarn执行中executor内存限制问题
YZJ8819的博客
03-08 997
因为配置了spark如下参数，启动spark-shell报错 export SPARK_WORKER_CORES=5 export SPARK_WORKER_INSTANCES=4 export SPARK_WORKER_MEMORY=50G export SPARK_WORKER_WEBUI_PORT=8081 export SPARK_EXECUTOR_CORES=2 ...
spark executo-memory最大限制点
那又怎样？的博客
02-25 1050
转载来自：https://www.jianshu.com/p/391f8776e66f 重点： （1） executorMem = args.executorMemory + executorMemoryOverhead < yarn.scheduler.maximum-allocation-mb （2） 这里还有一点需要注意，executor-memory设置的是exec...
记一次Yarn Required executor memeory is above the max threshold(8192MB) of this cluster!
南风知我意
06-07 466
Sparn on Yarn场景下执行Spark任务时，单个executor的memeory设置超过8G就会报以下错误，这是yarn设置不合理导致的，yarn默认单个nodemanager为8G资源，这是不合理的，因此我在集群上对此做出调整。 调整后表现...
Spark on Yarn之Executor内存管理 - 简书1
08-04
JVM堆内存大小由`--executor-memory`（即`spark.executor.memory`）参数决定，这是Executor中所有并发任务共享的内存。而JVM OffHeap内存，主要用于JVM自身开销，例如字符串和NIO Buffer，其大小由`spark.yarn....
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
在 Spark on YARN 中，Client 端的 DriverActor 通过 YARN 的 ResourceManager 注册任务，ResourceManager 负责将任务调度到合适的 NodeManager 上执行。NodeManager 负责执行任务，并将执行结果返回给 DriverActor...
spark yarn模式的搭建.docx
06-15
2. 修改 `conf/spark-defaults.conf`，设置 Spark 在 YARN 上运行的相关参数，如 `spark.master` 设为 `yarn`，`spark.executor.instances` 表示执行器实例数量等。 3. 修改 `conf/spark-env.sh`，设置环境变量，如 ...
Sparkonyarn集群搭建详细过程.docx
10-15
Spark on YARN 集群搭建是一个复杂的过程，涉及到多台服务器的配置和软件的安装。以下是详细步骤和相关知识点： 1. **主机配置与网络通信** - `/etc/hosts` 文件配置至关重要，它用于解析主机名到IP地址的映射。...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Java提交Spark任务到YARN平台是一项常见的大数据处理操作，它结合了Java的编程能力和Spark的高性能计算框架，以及Hadoop的资源管理系统YARN。在这个过程中，开发者需要理解多个关键概念和配置步骤，以便有效地调度和...
Spark On Yarn 中Executor 内存分配的机制
zhuiqiuuuu的博客
01-18 8586
问题导读1. Spark On Yarn 下executor-memory 参数如何生效？2. Cluster 和 Client 模式中 内存开销的区别？3. 规整化因子是什么？ 综述  提交任务时，配置的executor-memory 的参数，设置为6g，结果实际运行中，占据的资源算下来，每个executor 使用的却接近7个g，被管理集群的同事找上门，逃。 那么，为何会配置的参数没有生效呢？...
YARN上Spark的资源分配配置
danpu0978的博客
04-24 794
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
spark启动的worker节点是localhost_Spark系列--提交任务流程
weixin_39716264的博客
11-26 233
1.Spark基于StandaLone的任务提交模式StandaLone提交任务有两种模式，一种是基于客户端Client提交任务，另一种是集群cluster提交任务。首先来看基于客户端提交任务：提交命令为：./spark-submit --master spark://node1:7077 --deploy-mode client --class jar包它执行的流程大致如下：1.当有了客户...
Spark on Yarn中的Executor内存设置
IT_心如止水的博客
05-13 1180
目录 背景介绍 Yarn Spark Spark on Yarn Executor内存设置 背景介绍 Yarn yarn是一个主从型的计算资源管理系统，包含一个ResourceManager和多个NodeManager。其中ResourceManager负责整个集群的资源调度，管理NodeManager；NodeManager负责管理单个节点。 Spark Spark是一种分布式计算框架，可以在多种集群资源管理器上运行。Spark计算任务运行时，会首先运行一个driver，相当于
Cloudera Manager启动Spark报内存超出限制的错误：Required executor memory (1024+384 MB) is above the max threshold
sunfect的博客
01-07 4648
启动Spark-Shell报错： java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-all...
Spark On YARN内存分配
lulynn的博客
09-02 1942
http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 非常好的文章，推荐。 本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同
Spark提交yarn虚拟内存不足任务失败
anddyhua's Cookbook
07-21 6395
19/07/20 18:06:06 INFO yarn.Client: client token: N/A diagnostics: N/A ApplicationMaster host: BG001 ApplicationMaster RPC port: 34351 queue: default ...
Spark关于内存大小过低报错解决
kamisamak的博客
06-05 818
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.IllegalArgumentException: Required executor memory (1024), overh...
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的
u012106430的博客
12-17 507
spark UI告知已为存储内存分配了956.6 MB，是怎么计算的 参数设置为spark.driver.memory=2g web展示下过如下： spark1.6前后有两种不同的计算模型： 静态内存模型: 统一内存管理模型: 官方计算公式： 静态内存管理内存计算公式： ExecutionMemory = systemMemory * spark.shuffle.memoryFraction* spark.shuffle.safetyFraction= executor-memory*0.2*0.8
Spark On Yarn执行流程
最新发布
10-17
Spark On Yarn执行流程大致如下： 1. 用户提交Spark应用程序到Yarn集群 2. Yarn ResourceManager接收到应用程序请求后，为该应用程序分配一个ApplicationMaster（AM）。 3. AM向ResourceManager申请资源，包括CPU、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值