spark性能调优:执行器内存(executor_memory)、执行器个数(num_executor)、执行器核数(executor_cores)

已于 2022-07-07 16:31:14 修改
阅读量1.5k 收藏 2
点赞数
分类专栏： Spark原理、实战、总结 文章标签： spark 大数据
于 2022-07-07 16:28:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukabruce/article/details/125659815
版权
本文介绍了Spark性能调优中执行器内存(executor_memory)、执行器个数(num_executor)和执行器核数(executor_cores)的配置方法。建议单个执行器核数为1,2,4，最大不超过4。例如，若设定为4，则每个执行器内存上限为32GB。单机最多可配置15个执行器，考虑到driver内存，实际为14个。单机最小存储内存应至少为15个执行器的内存加上driver内存。" 133175224,20014376,使用Docker Compose部署Kafka集群,"['Kafka', 'Docker', '容器技术', '部署', '大数据开发']
摘要由CSDN通过智能技术生成
内存 核数 磁盘内存
512G 128C 1T

num_executor(instance) 、executor_cores、executor_memory应该如何配置？

优化公式：

根据经验：单个执行器核数应为1,2,4（最大不超过4）

 

 \frac{}{}

了解本专栏 订阅专栏 解锁全文 超级会员免费看
卢子墨
关注
专栏目录
订阅专栏
spark性能调优：num-executors, execuor-cores, executor-memory
lukabruce的博客
07-21 3377
spark性能调优
Spark入门之——运行环境、核心组件、分布式计算简介
weixin_46628668的博客
03-06 471
Spark入门之——运行环境、核心组件、分布式计算简介
Spark应用 | Hive On Spark性能调优
最新发布
xingyuelhb的博客
08-28 170
我们公司yarn node节点的可用资源配置为：单台node节点可用资源数：核数33cores、内存110G。Hive on Spark任务的基础配置，主要配置对象包括：Executor和Driver内存，Executor配额，任务并行度。Spark系统架构。
简单总结spark中executer的个数设置
xinganshenguang的博客
12-02 1万+
1.standlone模式下公式：execuoterNum = spark.cores.max/spark.executor.cores相关参数在启动具体应用时指定 例如启动基于standlone模式的spark sql的thrift 接口时 设置 这两个参数--total-executor-cores --executor-cores 它们共同决定了当前应用 启动executor的个数$
spark 体验点滴- executor 数量 和task 并行数
weixin_34326558的博客
01-04 3134
一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 二.指定并行的task数量spark.default.parallelism ...
SPARK 中 DriverMemory和ExecutorMemory
weixin_30898109的博客
11-25 1734
spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。分别是driver memory 和executor memory。 从名字上大概可以猜出大概。具体就是说driver memory并不是master分配了多少内存，而是管理多少内存。换言之就是为当前应用分配了多少内存。 executor memory...
spark重要参数调优建议：executor-cores/spark.executor.cores设置每个Executor进程的CPU core数量
学亮编程手记
06-05 8158
executor-cores/spark.executor.cores 参数说明：该参数用于设置每个Executor进程的CPU core数量。这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程，因此每个Executor进程的CPU core数量越多，越能够快速地执行完分配给自己的所有task线程。 参数调优建议：Executor的CPU core数量设置为2~4个较为合适。同样得根据不同部门的资源队列来定，可以看看自己的资源队列的最大
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
あずにゃん梓喵的博客
07-19 6390
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
Spark分配num-executors，execuor-cores和executor-memory
L, there!
06-14 1万+
spark配置参数设置 driver.memory：driver运行内存，默认值512m，一般2-6G num-executors：集群中启动的executor总数 executor.memory：每个executor分配的内存数，默认值512m，一般4-8G executor.cores ：每个executor分配的核心数目 yarn.am.memory：AppMaster内存，默...
Spark调优指南：Executor与Driver内存配置及RDD分区策略
同时，`SPARK_EXECUTOR_MEMORY` 用于设置Executor内存，而 `spark.yarn.executor.memoryOverhead` 是额外的内存开销，通常默认为executor内存的7%。 2. **Driver内存**：类似地，`SPARK_DRIVER_MEMORY` 控制Driver...
Spark yarn 模式设置执行器 executor 的核心数目（core number）、数量以及内存
wx6gml18的博客
12-24 5099
按需静态设置 参考链接：Stack Overflow 接下来的回复包含了标题中的三方面内容：executor 核心数目，executor 数量，executor 内存。例如 driver memory 这样的参数原文并没有提及。 案例：6 个节点，每个节点 16 核 + 64 GB RAM 由于每个 executor 都是一个 JVM 实例，所以我们可以给每个节点分配多个 executor。 为系统的运行保留资源 文章原文的内容是：为了保证操作系统和 hadoop 进程的运行，每个节点要预留 1 个核心
Redis 中spark参数executor-cores引起的异常解决办法
09-09
主要介绍了Redis 中spark参数executor-cores引起的异常解决办法的相关资料,需要的朋友可以参考下
获取spark运行时的参数值 eg:spark.executor.cores
yy的博客
03-15 2515
代码 package com.test import org.apache.spark.sql.SparkSession object scalaDemo1 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .master("local[*]") .appName(this.getClass.getName)
Spark中executor-memory参数详解
weixin_43668299的博客
06-30 3588
我们知道，spark执行的时候，可以通过 --executor-memory 来设置executor执行时所需的memory。但如果设置的过大，程序是会报错的，如下 555.png 那么这个值最大能设置多少呢？本文来分析一下。 文中安装的是Spark1.6.1，安装在hadoop2.7上。 1、相关的2个参数 1.1 yarn.scheduler.maximum-allocation-mb 这个参数表示每个container能够申请到的最大内存，一般是集群统一配置。Spark中的executor进程是跑在c
spark on yarn 的 executor、cores、driver 作用及配置
骑着蜗牛向前跑的博客
11-24 3049
当然内存空间也不是越大越好，要大了集群分配不出来，yarn 直接将任务 kill 了，不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver，它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 taskSet 等等，这些操作都需要占用内存空间，driver-memory 就是为其分配内存。
提交一个spark程序及spark执行器
weixin_43866709的博客
03-12 388
spark中自带了很多例子，他们存放在examples/jars目录下，今天我们就提交一个蒙特.卡罗拉算法求PI的例子： 向spark集群提交程序的命令是spark-submit，后面我们要制定参数 /usr/local/spark-2.1.0-bin-hadoop2.6/bin/spark-submit --master spark://node1.edu360.cn:7077 --class ...
SPARK-SUBMIT命令
lvyanwenwen的博客
09-25 844
1. 并发64，运行基于APACHE-BEAM开发的程序 spark-submit --total-executor-cores 64  --executor-cores 8  --executor-memory 20g  --class test.ktrTest beam-data-integration-V2.0.0.jar  ktrpath=/opt/ZDH/parcels/lib/spa
Spark --如何合理地设置executor-memory、executor-cores、num-executors
热门推荐
patrick_big_data的博客
03-15 1万+
文章目录参数介绍以下4点建议需要牢记配置参数方法一：Tiny executors（One Executor per core）方法二：Fat executors (One Executor per node)方法三：Balance between Fat (vs) Tiny方法四：在方法三基础上每个executor不需要这么多内存参考网址 参数介绍 executor-memory 表示分配给每个e...
spark内核解析2-核心组件
06-22 323
目录Spark核心组件DriverExecutortaskpartition的数目 Spark核心组件 Driver Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 将用户程序转化为作业（job）； 在Executor之间调度任务(task)； 跟踪Executor的执行情况； 通过UI展示查询运行情况； Executor Spark Executor节点是一个JVM进程，负责在 Spark 作业中运行具体任务，任务彼此
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卢子墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值