spark 报java.lang.StackOverflowError

最新推荐文章于 2023-04-18 10:43:46 发布

MENG哥

最新推荐文章于 2023-04-18 10:43:46 发布

阅读量533

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/u014552678/article/details/111180990

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文探讨了在Spark中广播167M大树类时遇到的Java.lang.StackOverflowError问题，通过调整spark-submit参数-Xss256m或配置spark-defaults.conf解决，并介绍了如何在本地模式下运行以应对数据量级挑战。

摘要由CSDN通过智能技术生成

spark 广播类报java.lang.StackOverflowError

背景：需要广播一个167M的tree类，所以报栈内存不够
解决办法：在spark-submit里加上：（目前由于数据量级小，所以采用local模式运行）

spark-submit \$
--class bp_beauty_op.beauty_op \$
--master local[*] \$
--driver-java-options "-Xss256m" \$
test-1.0-SNAPSHOT.jar

或者在spark-defaults.conf加上spark.driver.extraJavaOptions="-Xss256M"
测试跑过。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MENG哥

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark报错处理系列之：Caused by: java.lang.StackOverflowError

zhengzaifeidelushang的博客

12-16

690

Spark报错处理系列之：Caused by: java.lang.StackOverflowError

Spark之报错java.lang.StackOverflowError（栈溢出）解决方案

zp17834994071的博客

09-17

2679

前面在运行Spark项目的时候，突然就报了个错：java.lang.StackOverflowError，以前也没出现过这种情况，原来是栈溢出，内存不够导致的。需要在spark的配置文件中添加新的内存信息。 vi /opt/soft/spark234/conf cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf //添加以下配置信息 spark.driver.extraJavaOptions="-

参与评论您还未登录，请先登录后发表或查看评论

Spark SQL报错：java.lang.StackOverflowError（栈溢出）原因及解决方案

qq_45124566的博客

04-18

1873

Spark SQL报错：java.lang.StackOverflowError

spark java.lang.StackOverflowError

bitcarmanlee的博客

12-09

1167

1.遇到的问题在实际分析数据过程中，需要拉取最近一年的数据进行统计，并且一年的数据按天分区。 val ymdSet = TimeUtils.genYmdSet(beginYmd, endYmd) // 获取过去一年时间的日期 var rdd = SparkIo.readThriftParquetFile(spark.sparkContext, pathxxx, classOf[xxx]) for(eachYmd <- ymdSet) { val tmppath = PathUtils.xxx

Spark任务报java.lang.StackOverflowError

疯狂的暴走蜗牛的专栏

03-09

5782

Spark任务报java.lang.StackOverflowError 简介日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。问题分析此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析...

spark出现java.lang.stackoverflowerror的解决方法

06-28

Java.lang.StackOverflowError是Java虚拟机在执行程序时遇到的一种错误，通常是由于递归调用导致的。解决方法如下： 1.检查代码中是否存在无限递归调用的情况，如果有，需要修改代码。 2.增加堆栈大小，可以通过...

hive insert 报错java.lang.StackOverflowError

热门推荐

GamePog的博客

12-08

2万+

Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path错误解决办法

java.lang.stackoverflowerror解决方法,Spark出现java.lang.stackoverflowerror的解决方法

weixin_28747257的博客

03-14

247

BFC和haslayout待补充参考链接:http://www.cnblogs.com/lhb25/p/inside-block-formatting-ontext.html 标准浏览器: BFC(block formatt ...PHP表单数据写入MySQL代码插入操作 view保存为图片一.概述简书.微博.便签等都有将文章保存为图片的功能.笔者臆测,此功能的实现原理如下. 二.实现 2....

Spark Executor 报错 java.lang.StackOverflowError

dai451954706的专栏

06-22

7860

Spark Executor 报错 java.lang.StackOverflowError

spark任务爆出大量的java.lang.StackOverflowError

u011602667的专栏

08-19

2129

spark executor jvm 参数设置

spark任务执行报错 | java.lang.StackOverflowError

weixin_42677245的博客

07-03

575

java.lang.StackOverflowError 指的是堆栈溢出，往往是我们在执行spark-submit 脚本时分配的driver-memory 资源不够，如果分配2g报堆栈溢出，那就给4g 或者更大，可以解决问题！

Spark 训练机器学习模型莫名报错（java.lang.stackoverflow）

记录学习痕迹的公众号：Piper蛋窝

02-09

994

归根结底是当时不了解 Spark 原理。

java.lang.StackOverflowError

a19860903的专栏

02-24

1397

在android中有时会报出 java.lang.StackOverflowError，出现这个的原因有很多种。 1.布局嵌套太深 2.定义图片xml描述文件时，xml文件名和xml所使用的图片的名字是一样的

spark本地模式解决StackOverflowError

weixin_44373865的博客

03-31

771

近期做毕设遇到StackOverflowError，具体错误如下： ShuffleMapStage 0 (mapToPair at NativeBayes.java:159) failed in 0.128 s due to Job aborted due to stage failure: Task serialization failed: java.lang.StackOverflowErr...

Spark出现java.lang.stackoverflowerror的解决方法

weixin_34161032的博客

06-26

958

正在测试的程序需要多次迭代（400+次），每次迭代有复杂的运算迭代到100多次的时候报java.lang.stackoverflowerror的错误解决方法：先checkpoint()再count()，切断rdd的lineage，防止因为DAG过深出现栈溢出转载于:https://www.cnblogs.com/luzy/p/3809365.html...

SparkStreaming发生java.lang.StackOverflowError的解决方案

mlwise的专栏

01-10

565

在使用SparkStreaming做实时统计时，使用了mapWithState基于有状态的统计，必须使用Spark自带的checkpoint机制，使用这个机制会有带来很多问题，又没有更好的办法。有一个实时统计的应用在公司环境中一直运行都没啥问题，到了客户的生产环境中老是出问题，没有逃过一演示就崩的魔咒。公司开发使用的Apache版本，客户生产环境用的是CDH企业版本hadoop，管理端用的是CD...