spark调优之excutor-core和内存的合理配置

最新推荐文章于 2023-02-21 18:02:44 发布
最新推荐文章于 2023-02-21 18:02:44 发布
阅读量1.6k 收藏 1
点赞数 2
文章标签： spark 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40129969/article/details/121935932
版权
本文探讨了一种常见问题，即Spark任务在YARN队列中由于资源配置不当导致的任务拥堵。作者通过实测发现，过度分配资源（如230个CPU）并不一定带来效率提升，反而可能导致资源浪费。通过对比不同配置下的DAG执行图，作者得出结论，CPU与内存的合理配比是关键，推荐比例为1:2.5或1:3，并指出盲目增加内存可能并不利于效率。优化资源配置可以显著改善任务执行效率，避免队列拥堵。
摘要由CSDN通过智能技术生成

spark调优之 excutor-core和内存的合理配置

队列资源描述

队列资源描述
这是yarn界面上的，我和同事们共同使用的队列资源，这个队列总共3T内存 750个cpu

友情提示：看Max Resources这一栏

不过经常会出现，前面几个任务在跑，后面几个任务排长队的现象。

这让我百思不得其解

于是我看了一下导致这种情况的罪魁祸首

在这里插入图片描述

这是同事的配置 两个训练的模型

230个cpu几乎打满，打爆了整个3T的队列

他的任务一直在低效率的跑，怪不得后面排起了长队！

资源设置测验

测验思路

使用相同的数据，相同的处理逻辑，相同的代码去处理同一件事情

测验1

我尝试了一下同事们的配置方法 对数据进行配置

模拟同事的shell脚本配置
shell脚本配置

DAG
DAG
效果
同事的任务效果

测验2

新的配置
新配置
DAG
在这里插入图片描述

效果
效果

结论

由此可见 大量的配置内存配置有时候并不见得会有更好的效果，同事们这样进行配置，也不知道是否是在充分考虑shuffle和数据倾斜的前提之下进行的。但是单从效率方面来讲，一昧的添加内存资源不一定是有效果的。要尽量的达成cpu和内存的协调平衡。

在我的多次测验结果看来最平衡的状态是1:2，所以如果让我搭建集群我会尽量的将cpu和内存的配比平衡在1:2.5，或者1:3左右！

当使用的时候，尽量配比成1:2

wHiteZz55
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark参数调整调优
萌兔兔MMQ！！
07-25 419
原理解释在hive中decimal类型是固定的用int32来表示，而标准的parquet规范约定，根据精度的不同会采用int32和int64来存储，而spark就是采用的标准的parquet格式；默认是5，挂了就设置为6；在实际生产中，通常需要根据程序中使用的缓存内存和计算内存，来划分不同的比例，从而合理的利用内存，避免OOM，提高性能；对于spark调优和OOM异常，通常都是对executor的内存做调整，spark内存模型也是指executor的内存分配，所以executor的内存管理是非常重要的；..
spark的excutor调优思路
齐梦星空
03-30 452
spark的excutor调优主要考虑两种资源：内存和cpu核心数 优先保证程序可运行的情况下增加excutor数量 在spark中，一个excutor是一个进程，是内存资源分配的基本单位。理论上excutor的数量可以非常大，但是yarn有资源管理的功能，如果excutor占用的资源超过了集群拥有的资源，多余的进程会被挂起。所以第一原则是单个excutor分配的资源要满足程序运行要求的情况下尽量...
SparkCore的调优之Spark内存模型
一个记录普通男孩在ＩＴ界学习思考感悟的地方
03-10 289
目录 一、概述 二、堆内和堆外内存规划 2.1　堆内内存 2.2　堆外内存 2.3　内存管理接口 三、内存空间分配 3.1　静态内存管理 3.2　统一内存管理 四、存储内存管理 4.1　RDD 的持久化机制 4.2　RDD 缓存的过程 4.3　淘汰和落盘 五、 执行内存管理 5.1　多任务间内存分配 5.2　Shuffle 的内存占用 一、概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的
Spark任务的core，executor，memory资源配置方法
helloxiaozhe的博客
04-16 7032
Spark任务的core，executor，memory资源配置方法 1、概述 执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集群的机缘导致其他应用程序得不到资源。 怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑： 数据量 任务完成时间点 静态或者动态的资源分配 上下游应用 2、Spark应用当中术语的基本定义： Partitions: 分区是大型分布式数据集的一小部分。 Spark使用分区来管理数据，.
spark 之所以调整core 内存数量,就是根据资源,进行充分使用,提升core的并行度
weixin_43779531的博客
08-30 224
spark 之所以调整core 内存数量,就是根据资源,进行充分使用,提升core的并行度, 而不是一个core使用1g内存的结论
大数据：Spark Core（三）Executor上是如何launch task
沧海一粟
04-19 4333
1. 启动任务在前面一篇博客中（http://blog.csdn.net/raintungli/article/details/70168241#t9）介绍了Driver是如何调动、启动任务的，Driver向Executor发送了LaunchTask的消息，Executor接收到了LaunchTask的消息后，进行了任务的启动，在CoarseGrainedExecutorBackend.scala
Spark 性能调优--资源调优
javalingyu的博客
04-24 368
资源调优 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置 Spark作业基本运行原理 Spark作业基本运行原理 spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程 根据你使用的部署模式（deploy-mode:client/cluster）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动 Driver进程本身会根据我们设置的参数，占有一定数
Spark 优化之：资源参数调优
AriesLY0411的博客
04-27 597
资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数，每个参数都对应着作业运行原理中的某个部分，我们同时也给出了一个调优的参考值。 num-executors 参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申
spark 参数调优
赤兔胭脂小吕布的博客
03-17 383
目录参数调优num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFractionspark.shuffle.memoryFraction数据本地化shuffle调优Spark Shuffleshuffle可能面临的问题如何优化解决问题?SortShu...
Spark 大数据 JVM调优 调节executor堆外内存与连接等待时长
chixushuchu的博客
12-17 502
executor堆外内存
spark如何合理的分配资源（executor-memory,num-executors,executor-cores）
dkk2014的博客
06-30 2291
以下为经验之谈，结合个人对spark框架的理解，如有错误，欢迎指正。 以yarn为例： 一。executor-memory，在集群资源允许的情况下，当然越多越好，个人建议上限为单个containers最大值的75%。 二。num-executors和executor-cores，由于执行任务的并发数=num-executors * executor-cores 。所以这一点经常会思考是100*1好，还是50*2比较好。 1.假设shuffer压力不大， ①在数据分布均匀，executor-memo
spark sql任务性能优化(基础)
一群专业码农的笔记本
11-22 6916
优化任务的意义 对于项目而言，可以节省机器计算资源 执行时间可能大幅度缩短，对于长链条任务依赖减少等待时间，尤其于上游任务而言，从而数据稳定性增加 spark UI 在上面的导航栏： 1 代表job页面，在里面可以看到当前应用分析出来的所有任务，以及所有的excutors中action的执行时间。 2 代表stage页面，在里面可以看到应用的所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些 3 代表storage页面，我们所做的cache persist等操作，都会在这里看
Spark --如何合理地设置executor-memory、executor-cores、num-executors
热门推荐
patrick_big_data的博客
03-15 1万+
文章目录参数介绍以下4点建议需要牢记配置参数方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance between Fat (vs) Tiny方法四：在方法三基础上每个executor不需要这么多内存参考网址 参数介绍 executor-memory 表示分配给每个e...
Spark：spark集群中什么是cpu-core 内核？RDD分区个数？集群的节点个数？及三者与并行度的关系
weixin_41662838的博客
02-18 400
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数X 超线程数 梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当...
Spark 超大数据量下OOM的解决
Du939的博客
02-21 2268
Spark 超大数据量下OOM的解决
Spark yarn 模式设置执行器 executor 的核心数目（core number）、数量以及内存
wx6gml18的博客
12-24 5032
按需静态设置 参考链接：Stack Overflow 接下来的回复包含了标题中的三方面内容：executor 核心数目，executor 数量，executor 内存。例如 driver memory 这样的参数原文并没有提及。 案例：6 个节点，每个节点 16 核 + 64 GB RAM 由于每个 executor 都是一个 JVM 实例，所以我们可以给每个节点分配多个 executor。 为系统的运行保留资源 文章原文的内容是：为了保证操作系统和 hadoop 进程的运行，每个节点要预留 1 个核心
[spark]spark资源分配
胖胖的博客
02-06 3009
(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时候1CU = 1cpu+4G内存, 即1:4，该值是比较合理的。内存数与线程数不是严格按照1:2，或者1:4，这个需要看一下每个节点的可用资源，具体情况具体计算。这里可以看出来，内存数/线程数=16/4=4。
spark性能调优:执行器内存(executor_memory)、执行器个数(num_executor)、执行器核数(executor_cores)
lukabruce的博客
07-07 1476
执行器内存(executor_memory)、执行器个数(num_executor)、执行器核数(executor_cores)
[CDH] Spark 属性、内存、CPU相关知识梳理
枪枪枪的博客
09-09 1801
version：2.4.0-cdh6.3.0 文章目录spark properties常用配置spark taskspark task 使用的cpu核数spark architecturespark memoryspark on yarn问题1：什么情况下使用spark.executor.memoryOverhead问题2:什么情况下使用spark.executor.memory小总结：归根结底，spark中的cpu核数和内存的比例是多少时最合适？？？spark submit spark propertie
spark调优之 -- spark的并行度深入理解（别再让资源浪费了）
最新发布
09-23
### 回答1： Spark的并行度是指同时处理数据的任务数。在调优Spark时，合理设置并行度...通过合理控制任务的数量和每个任务的分区数，并对任务的执行情况进行监控和调优，可以避免资源浪费，提高Spark应用程序的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值