Spark资源优化

最新推荐文章于 2024-01-14 21:04:59 发布
最新推荐文章于 2024-01-14 21:04:59 发布
阅读量164 收藏 1
点赞数 1
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45353054/article/details/104053150
版权
本文探讨了Spark程序提交时的资源调优，强调了YARN可用资源的重要性。当yarn.scheduler.minimum-allocation-mb设置为8G时，节点限制只能开启2个executor。文章提到了多个注意点，如executor申请资源包括堆外内存，driver占用单独Container，executor核心数的合理分配，以及并行度的设置。通过示例展示了如何在18G内存的单节点上进行配置，以充分利用资源，避免浪费。
摘要由CSDN通过智能技术生成

提交Spark程序时，资源调优是必须的，否则会默认运行2个executor，每个executor内存1G。这里主要针对资源利用做个总结。

主要涉及

--num-executors
--executor-memory
--executor-cores
--conf spark.default.parallelism

服务器节点YARN可用资源

服务器 单节点cores 总cores 单节点内存 总内存
3台 29 87 18G 54G

 

提交任务时遇到的一个小问题

提交Spark时，发现无论怎么设置executor数都是2个，排查后才发现，CDH上设置了yarn.scheduler.minimum-allocation-mb的值为8G，也就是YARN的作业最小调度资源。节点上YARN可用内存为18G，所以最多只能开启2个Container，也就是2个executor，剩下的内存足够开启一个AM的Container，所以最后Container为3个，executor只有2个。

注意点

 1. Sp

最低0.47元/天 解锁文章
南宫紫攸
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
提高Spark性能的关键：动态资源分配
SunnyRivers
07-13 996
Spark提供了一种机制，可以根据工作负载动态调整应用程序占用的资源。这意味着，如果不再使用资源，应用程序可能会将资源返还给集群，并在以后有需求时再次请求这些资源。如果Spark集群中有多个应用程序共享资源，则此功能特别有用。该功能在默认情况下被禁用，并且在所有粗粒度集群管理器上可用，即Standalone模式、YARN模式、Mesos粗粒度模式和K8s模式。注意。
Spark性能优化：资源调优篇
02-26
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱...
spark性能调优（二）之资源调优
墨殇
07-01 535
前言： 理解资源调优，说白了就是为spark程序提供合理的内存资源、cpu资源等。所以需要知道有哪些参数可以设置这些资源。 –conf PROP=VALUE 手动给sparkConf指定相关配置，比如–conf spark.serializer=org.apache.spark.serializer.KryoSeri...
pyspark写入mysql内存溢出_Spark开发-Spark内存溢出原因以及解决方式
weixin_30128407的博客
02-02 1312
Dpark内存溢出Spark内存溢出堆内内存溢出堆外内存溢出堆内内存溢出java.lang.OutOfMemoryError: GC overhead limit execeededjava.lang.OutOfMemoryError: Java heap space具体说明Heap size JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设...
[spark]spark资源分配
胖胖的博客
02-06 2972
(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时候1CU = 1cpu+4G内存, 即1:4，该值是比较合理的。内存数与线程数不是严格按照1:2，或者1:4，这个需要看一下每个节点的可用资源，具体情况具体计算。这里可以看出来，内存数/线程数=16/4=4。
工作常用之Spark调优【二】资源调优
Maynor的博客
09-13 1592
一般情况下，各个区域的内存比例保持默认值即可。务信息，然后将任务代码再反序列化得到可执行代码，最后再结合其他任务信息创建。当数据过于分散，分布式任务数量会大幅增加，但每个任务需要处理的数据。消耗来说，相比花在数据处理上的比例，任务调度上的开销几乎与。是一般不会这样设置，为了合理利用资源，一般会将并行度（根据官网的描述，那么可以推断出，如果。列化模式，并且需要进程注册类操作。内存资源充足情况下，使用默认级别。显然，在这种情况下，序列化，可以优化存储内存占用。的默认并行度，没有设置时，由。
spark3.0优化总结
04-19
在本篇文章中，我们将讨论 Spark 3.0 优化的总结，涵盖了读取数据的优化、资源配置的优化、CPU 资源的合理利用等方面的知识点。 读取数据的优化 读取数据是 Spark 应用的基本操作，对其进行优化可以大大提高应用的...
Spark优化解析
12-20
数据倾斜优化，shuffle调优，运行资源调优，Spark企业应用案例。
深度解密Spark性能优化之道课程-课程网盘链接提取码下载.txt
最新发布
06-29
课程内容涵盖了Spark性能调优的各个方面，包括内存管理、并行度设置、数据倾斜处理、Shuffle调优、资源配置等关键技术和策略。学员将通过实际案例的演示和分析，掌握解决Spark应用性能问题的方法和技巧，从而提升...
深入理解 Spark（四）Spark 内存管理模型
weixin_44512041的博客
01-14 1895
本章节主要介绍了 spark 的内存管理机制，包括早期的静态内存管理模型，现在的统一内存管理模型。读者通过加深对 spark 的内存管理机制的了解后，能够在实际生产中编写出更高效的代码。
Spark 动态资源分配参数与源码原理分析
u014034497的专栏
12-08 2528
最开始生效位置 ： 1.1.1.2.1 ExecutorAllocationManager 动态资源分配的工作，全部交由ExecutorAllocationManager类来管理，可以根据集群负载 实现最大并行化运行程序。在sparkcontext初始化时，被调用。 总体调用示意图如下：这里我们先看 updateAndSyncNumExecutorsTarget 和removeExecutors方法，因为其内部 最终也会调用 requestTotalExecutors 计算当前最大需要的execut
【总结】Spark任务的core，executor，memory资源配置方法
weixin_33713503的博客
03-18 852
执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集群的机缘导致其他应用程序得不到资源。 怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑： 数据量 任务完成时间点 静态或者动态的资源分配 上下游应用 Spark应用当中术语的基本定义： Partitions : 分区是大型分布式数据集的一小部分。 Spark使...
Spark---资源、任务调度
yaya_jn的博客
11-28 1605
例如：要找出网站活跃的前10名用户，活跃用户的评测标准就是用户在当前季度中登录网站的天数最多，如果某些用户在当前季度登录网站的天数相同，那么再比较这些用户的当前登录网站的时长进行排序，找出活跃用户。1、默认情况每个worker为当前的Application启动一个Executor，这个Executor使用集群中所有的cores和1G内存。2、在workr上启动多个Executor,设置--executor-cores参数指定每个executor使用的core数量。3、内存不足的情况下启动core的情况。
Spark优化
weixin_39458365的博客
10-05 490
stage的task在运行的时候，可能要从一些Executor中去拉取shuffle map output文件，但是Executor可能已经由于内存溢出挂掉了，其关联的BlockManager也没有了，这就可能会报出shuffle output file cannot find，executor lost，task lost，out of memory等错误，此时，就可以考虑调节一下Executor的堆外内存，也就可以避免报错，与此同时，堆外内存调节的比较大的时候，对于性能来讲，也会带来一定的提升。
Spark性能调优
aikeaidecxy的博客
08-24 2157
嗨，各位小伙伴大家好，我是爱小可爱的IT白，最近应朋友所邀，一直让写一篇关于Spark调优方面的文章，这两天工作之余，忙里偷闲，写了这篇调优文章，跟大家一起共享；在大数据领域，肯定有很多小伙伴跟笔者一样为了让生产中数据执行速度更快、性能更高而去使用Spark，当我们用Spark程序实现功能开发并使程序正常稳定运行起来的时候，一定是非常有成就感的；但是随着数据量的增加以及需求的完善，我们就开始关注我们这个程序能否做到在运行起来的时候让数据查询更快、让页面响应更快、尽可能的节省空间占用率；
Spark性能优化
Bryce_Loski的博客
10-28 1166
Spark性能优化 最新文章访问我的博客：http://bryce-loski.github.io/ 在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。 本文将从常见的几个方面与实现spark的优化 常规性能调优 1.1 常规性能调优一：最优资源配置   Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。    资源的分配在使用脚本提交Spark任务时进行指
spark调优
硅谷纵横
05-09 3262
目录 1、资源调优 1.1、分配更多的资源 1.2、提高并行度 2、开发调优 2.1、RDD的重用和持久化 2.2、广播变量的使用 2.3、尽量避免使用shuffle类算子 2.4、 使用高性能的算子 2.5、使用Kryo优化序列化性能 2.6、使用fastutil优化数据格式 2.7、调节数据本地化等待时长 3、基于spark内存模型调优 3.1、spark中executor内存划分 3.2、 spark的内存模型 3.3、 任务提交脚本参考 4、shuffle相关参数..
spark中num-executors，executor-cores，executor-memory调参的艺术
qq_31957747的博客
10-26 4523
在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的。因此，搞懂它们，很有必要。 本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html。 译文如下： 是否曾经想要知道如何
spark分配资源优化
07-28
Spark分配资源优化是通过调节各种参数来提升Spark作业的执行性能。在动态资源分配方面，可以根据任务的复杂程度和性能需求来选择使用动态资源分配还是静态资源分配。根据引用\[2\]的阶段性总结，动态资源分配在简单...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值