Spark SQL报错:java.lang.StackOverflowError(栈溢出)原因及 解决方案

今天执行 Spark SQL 任务时,报了个 java.lang.StackOverflowError 错误,这个错误是 Java 虚拟机抛出的错误,表示堆栈溢出。
这通常是由于递归调用或无限循环引起的。要解决此问题,有如下方法可以尝试:

  • 尝试优化代码以减少递归或循环的深度

  • 增加堆栈大小

#如果是在executor中报的错误,修改下面参数即可
spark.executor.extraJavaOptions=-Xss30M

#如果是在driver中报的错误,修改下面参数即可
spark.driver.extraJavaOptions=-Xss30M
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值