Spark OOM 可能的内存溢出参数

最新推荐文章于 2022-04-26 22:04:27 发布
最新推荐文章于 2022-04-26 22:04:27 发布
阅读量125 收藏
点赞数
分类专栏： Spark Scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guotong1988/article/details/117485460
版权
Spark 同时被 2 个专栏收录
140 篇文章 1 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
Scala
96 篇文章 1 订阅
订阅专栏
当遇到Spark作业运行时出现OOM错误，通常与内存配置不当有关。本文深入探讨了Spark内存溢出的常见参数，如executor-memory、driver-memory等，并提供了调整这些参数以优化内存使用和避免溢出的策略。
摘要由CSDN通过智能技术生成

spark.default.parallelism=6000
spark.sql.shuffle.partitions=6000
时OOM，
改为
spark.default.parallelism=2000
spark.sql.shuffle.partitions=2000
问题解决

FocusOneThread
关注
专栏目录
订阅专栏
Spark OOM 反而会内存溢出的参数设置
Talk Is Cheap
06-02 154
val hadoopConf = sparkContext.hadoopConfiguration hadoopConf.set("mapreduce.job.maps", 5000.toString) hadoopConf.set("mapreduce.job.reduces", 5000.toString) 加上这三句反而容易内存溢出OOM
spark性能调优参数总结
08-15
详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略
Spark shuffle 优化
09-08 757
spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如64k），从而减少shuffle write过程
Spark面对OOM问题的解决方法及优化总结
热门推荐
拱头的专栏
04-01 6万+
分布式计算系统最常见的问题就是OOM问题，本文主要讲述Spark中OOM问题的原因和解决办法，并结合笔者实践讲述了一些优化技巧。涉及shuffle内存溢出，map内存溢出。spark代码优化技巧和spark参数优化技巧。
spark oom常见的解决方式
yisun123456的博客
01-30 2858
分析 spark常见的问题不外乎oom： 我们首先看一下Spark 的内存模型： Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。 execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实map过程也是在这...
Spark Heap OOM(堆内存溢出)
bitcarmanlee的博客
12-13 1万+
spark任务在调试过程中，OOM是非常讨厌的一种情况。本文针对Heap OOM的情况先做一定分析，告诉大家如何调参。1.Heap OOM的现象如果在Spark UI或者在spark.log中看到如下日志：java.lang.OutOfMemoryError: GC overhead limit exceeded java.lang.OutOfMemoryError: java heap space
spark executor出现OOM内存溢出问题解决方案
祁东握力的博客
01-31 3678
转载链接：https://blog.csdn.net/wypblog/article/details/104935712/ Executor OOM类错误 （错误代码 137、143等） 该类错误一般是由于 Heap（M2）已达上限，Task 需要更多的内存，而又得不到足够的内存而导致。因此，解决方案要从增加每个 Task 的内存使用量，满足任务需求 或 降低单个 Task 的内存消耗量，从而使现有内存可以满足任务运行需求两个角度出发。因此有如下解决方案： 法一：增加单个task的内存使用量 .
记一次奇葩的Spark内存溢出OOM
Toby的博客
09-22 1516
错误信息如下： org.apache.spark.memory.SparkOutOfMemoryError: Unable to acquire 1048576 bytes of memory, got 65536 内存溢出的位置：做JOIN操作的时候，内存溢出了。 首先，定位下任务使用的资源， 其次，调参数 --driver-cores 4 \ --driver-memory 8G \ --executor-cores 4 \ --executor-memory 16G \ -..
Spark面对OOM问题的解决方法及优化总结1
08-08
- 调整Spark的内存参数，如`spark.executor.memory`、`spark.memory.fraction`等，以适应应用需求。 - 使用更高效的数据序列化方式，如Kryo，以减小内存占用。 - 对大数据集进行分区优化，确保数据大小适中，避免...
OOM(内存溢出)
wyc_595998412的博客
08-26 855
Out of Memory Spark中的OOM问题不外乎以下两种情况 map执行中内存溢出 shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。   Spark的内存模型： 任何Spa...
Spark OOM、GC、栈内存故障排除
AriesLY0411的博客
04-26 2482
1. 避免OOM-out of memory 在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，reduce端task就会拉取一小部分数据，然后立即进行后面的聚合、算子函数的使用等操作。 reduce端task能够拉取多少数据，由reduce拉取数据的缓冲区buffer来决定，因为拉取过来的数据都是先放在buffer中，然后再进行后续的处理，buffer的默认大小为48MB。 reduce端task会一边拉取一边计算，不一定每
Spark API 详解/大白话解释 之 reduce、reduceByKey
Talk Is Cheap
01-21 4万+
reduce(binary_function) reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。val c = sc.parallelize(1 to 10) c.reduce((x, y) => x + y)//结果55具体过程，RDD有1 2 3 4 5 6
Spark API 详解/大白话解释 之 map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues
Talk Is Cheap
01-21 4万+
map(function) map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：val a = sc.parallelize(1 to 9, 3) val b = a.map(x => x*2)//x => x*2是一个函数，x是传入参数即RDD的每个元素，x*2是返回值 a.collectArray[Int] =
Spark API 详解/大白话解释 之 groupBy、groupByKey
Talk Is Cheap
01-21 3万+
groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组val a = sc.parallelize(1 to 9, 3) a.groupBy(x => { if (x % 2 == 0) "even" else "odd" }).collect//分成两组 /*结果 Array( (even,ArrayBuffer(2, 4, 6, 8)),
Spark API 详解/大白话解释 之 RDD、partition、count、collect
Talk Is Cheap
01-21 9331
RDD定义： 任何数据在Spark中都被转换为RDD。一个RDD可以看成是一个数组，不过是切分开，分布在不同的机器上，就并行处理。 由数据转换为RDD： 举例：从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中。这个RDD一共9个元素，每个元素含有一个数字val a = sc.parallelize(1 to 9, 3)举例：读取本地文件README.md来创建RDD，文件中的每
idea本地调试spark
Talk Is Cheap
02-22 8299
这种方法我没有采用： ./sbt/sbt assembly       ./sbt/sbt gen-idea        然后再导入 我发现这样可行： 给idea装上scala插件 下载源码，假设使用git同步最新的源码 git clone https://github.com/apache/spark.git File->Import Proj
spark 第三方jar包
Talk Is Cheap
01-08 7614
./spark-submit –jars $LIBJARS –class test.MyApp –master local myApp.jar在~/.bashrc 加上for i in `ls /path/to/your/third/party/*.jar` do LIBJARS=$i,$LIBJARS done export LIBJARS=$LIBJARShttp://stackoverflo
Spark内存管理与OOM解决方案
本文将探讨Spark内存模型，并针对两种主要的OOM场景——map执行中内存溢出和shuffle后内存溢出，提供相应的解决方法和优化策略。 首先，理解Spark内存模型是解决内存问题的关键。Spark的内存被划分为三个主要部分：...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FocusOneThread

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值