如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory

最新推荐文章于 2024-07-25 10:42:32 发布
最新推荐文章于 2024-07-25 10:42:32 发布
阅读量1.1w 收藏 24
点赞数 5
分类专栏： Spark Spark学习随笔 文章标签： spark executor tunning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yolohohohoho/article/details/88056381
版权
本文讨论了为Spark应用程序分配executor数量、核心和内存的最佳实践。考虑到Hadoop/Yarn守护进程、ApplicationMaster资源需求、HDFS吞吐量以及内存开销。分析了小、大、优化三种executor配置的优劣，建议每个executor分配5个核心，以平衡资源利用和性能。
摘要由CSDN通过智能技术生成

文章目录

前言

在我们提交spark程序时，应该如何为Spark集群配置–num-executors， - executor-memory和–execuor-cores 呢？

一些资源参数设置的基本知识
  • Hadoop / Yarn / OS Deamons
    当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。因此，在指定num-executors时，我们需要确保为这些守护进程留下足够的核心（至少每个节点约1 CPU核）以便顺利运行。
  • Yarn ApplicationMaster（AM）
    ApplicationMaster负责协调来自ResourceManager的资源，并与NodeManagers一起执行container并监控其资源消耗。如果我们在YARN上运行Spark，那么我们需要预估运行AM所需要的资源（至少1024MB和1 CPU核）。
  • HDFS吞吐量
    HDFS客户端遇到大量并发线程会出现一些bug。一般来说，每个executors最多可以实现5个任务的完全写入吞吐量，因此最好将每个executors的核心数保持在该数量之下。
  • MemoryOverhead
    JVM还需要一些off heap的内存，请参考下图中描绘的Spark和YARN中内存属性的层次结构，
test

简单来说，有以下两个公式：

每个executor从YARN请求的内存 = spark-executor-memory + spark.yarn.executor.memoryOverhead
最低0.47元/天 解锁文章
Lestat.Z.
关注
专栏目录
spark性能调优：num-executors, execuor-cores, executor-memory
lukabruce的博客
07-21 3342
spark性能调优
Spark分配num-executors，execuor-cores和executor-memory
L, there!
06-14 1万+
spark配置参数设置 driver.memory：driver运行内存，默认值512m，一般2-6G num-executors：集群中启动的executor总数 executor.memory：每个executor分配的内存数，默认值512m，一般4-8G executor.cores ：每个executor分配的核心数目 yarn.am.memory：AppMaster内存，默...
Spark源码分析之Excutor资源分配流程
SmallCatBaby的博客
06-16 573
一.前言 在用户提交应用程序时,SparkContext会向Master发送注册消息，并由Master给该应用分配Executor。 这里的SparkContext主要用于负责和ClusterManager通信，进行资源的管理，任务分配和监控，负责作业执行的生命周期管理，ClusterManager提供了资源的分配和管理。 在不同模式下ClusterMan...
Spark核心知识要点（六）资源配置调优
最新发布
ytp552200ytp的博客
07-25 979
Spark核心知识要点（六）资源配置调优
spark实际工作中资源分配策略
qianyulin
08-23 956
执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集群的机缘导致其他应用程序得不到资源。 怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑： 数据量 任务完成时间点 静态或者动态的资源分配 上下游应用 Spark应用当中术语的基本定义： Partitions : 分区是大型分布式数据集的一小部分。 Spark使用分区来管理数据，这些分区有助于并行化数据处理，并且使executor之间的数据交换最小化 Task： 任务是一个
如何为Spark集群配置–num-executors， – executor-memory和–execuor-cores
jiede1的博客
01-02 2397
前言 在我们提交spark进程时，应该如何为Spark集群配置–num-executors， - executor-memory和–execuor-cores 呢？ 一些资源参数设置的基本知识 Hadoop / Yarn / OS Deamons 当我们使用像Yarn这样的集群管理器运行spark应用进程时，会有几个守护进程在后台运行，如NameNode，Secondary NameNod...
001:spark-submit提交参数之num-executors，num-executors，executor-cores
需求是无耻的
01-04 1万+
1.num-executors 参数说明： 该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。 参数调优
Spark性能调优： num-executors, execuor-cores, executor-memory 配置建议
weixin_42155006的博客
05-21 1547
spark.hadoopRDD.ignoreEmptySplits 默认是false，如果是true，则会忽略那些空的splits，减小task的数量。 spark.hadoop.mapreduce.input.fileinputformat.split.minsize 是用于聚合input的小文件，用于控制每个mapTask的输入文件，防止小文件过多时候，产生太多的task。 spark.sql.autoBroadcastJoinThreshold 和spark.sql.broadcastTimeout.
Spark --如何合理地设置executor-memory、executor-cores、num-executors
patrick_big_data的博客
03-15 1万+
文章目录参数介绍以下4点建议需要牢记配置参数方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance between Fat (vs) Tiny方法四：在方法三基础上每个executor不需要这么多内存参考网址 参数介绍 executor-memory 表示分配给每个e...
spark中num-executors，executor-cores，executor-memory调参的艺术
qq_31957747的博客
10-26 4713
在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的。因此，搞懂它们，很有必要。 本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html。 译文如下： 是否曾经想要知道如何
Spark Yarn内存资源计算分析（参考）--Executor Cores、Nums、Memory优化配置
Alex的博客
03-18 2234
Spark on Yarn Executor Cores、Nums、Memory优化配置 三方面内容：executor 核心数目，executor 数量，executor 内存。对于driver memory 这个参数，设置比较灵活，一般1-8，这里不就不多说 设置以上三个参数，除了计算集群的节点数、节点Cores和内存大小外，还需要考虑以下四点因素： spark使用yarn做资源管理，yarn后台使用一些守护进程中运行的，如NameNode，Secondary NameNode，DataNode，J
Spark相关配置参数
攻城狮Kevin
06-27 4812
spark重要参数配置
Spark资源参数调优参数
TURING.DT
05-03 3574
Spark资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数，每个参数都对应着作业运行原理中的某个部分，我们同时也给出了一个调优的参考值。 num-exec
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
あずにゃん梓喵的博客
07-19 6361
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
谈谈 MySQL 的 JSON 数据类型操作
奇舞周刊
09-14 694
编者按：本文作者李喆明，奇舞团前端开发工程师MySQL 5.7 增加了 JSON 数据类型的支持，在之前如果要存储 JSON 类型的数据的话我们只能自己做 JSON.stringify(...
Spark内存资源分配——spark.executor.memory等参数的设置方法
热门推荐
qq_28658621的博客
01-19 2万+
Spark内存资源分配——spark.executor.memory等参数的设置方法
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default....
06-06
executor-memory：指定每个executor进程可用的内存大小，单位为g（GB）或m（MB）。 executor-cores：指定每个executor进程可用的CPU核数。 num-executors：指定启动的executor进程数。 spark.default...：这个...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值