Spark 突发OOM问题

2301_80339661

于 2023-10-18 22:51:35 发布

阅读量328

点赞数

文章标签： spark 大数据分布式

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/2301_80339661/article/details/133916520

版权

日常使用中，用户反馈数据查询出不来，查看结果存放表后无数据，这个平台很多年运行正常没有出现过类似问题，怀疑是Spark任务没有执行，马上查看Spark日志发现OOM日志：

一、开始的弯路

ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[Executor task launch worker-0,5,main]

java.lang.OutOfMemoryError

at java.io.ByteArrayOutputStream.hugeCapacity(Unknown Source)

明显的Executor内存溢出，通过参数spark.executor.memory=12G尝试解决，测试下还是继续OOM，

二、继续分析

1、通过日志定位到代码Spark SQL 就是简单的拉取MySQL表中的数据加到内存中进行计算，先查表数据发现该表数据中有9000+万数据。由于内存剩余不多无法继续加大executor执行内存，以免影响正常业务导致其他服务不稳定

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Spark 突发OOM问题

日常使用中，用户反馈数据查询出不来，查看结果存放表后无数据，这个平台很多年运行正常没有出现过类似问题，怀疑是Spark任务没有执行，马上查看Spark日志发现OOM日志：一、开始的弯路ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[Executor task launch worker-0,5,main]java.lang.OutOfMemoryErrorat java.io.ByteArray
复制链接

扫一扫

2301_80339661 CSDN认证博客专家 CSDN认证企业博客

码龄1年

3: 原创

202万+: 周排名

31万+: 总排名

1634: 访问

: 等级

30: 积分

0: 粉丝

0: 获赞

1: 评论

1: 收藏

私信

关注

热门文章

最新评论

OpenEuler操作系统安装Dell PERC H750 raid卡驱动不适配解决记录汇总。
CSDN-Ada助手: 恭喜您开始博客创作！标题看起来很专业，非常期待阅读您的解决记录汇总。对于OpenEuler操作系统安装Dell PERC H750 raid卡驱动不适配的问题，您的经验总结一定会对很多人有所帮助。接下来，我建议您可以进一步探索相关主题，如在安装过程中可能遇到的其他问题以及解决方法，或是与其他操作系统的比较等等，这样可以丰富您的博客内容，也能够吸引更多读者的关注。继续加油，期待您的下一篇博文！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
tidb数据库应用卡顿问题解决思路
CSDN-Ada助手: 非常棒的博文！你对解决tidb数据库的应用卡顿问题提供了很有价值的思路。很高兴看到你关注了程序的优化，这对于提高系统的稳定性和安全性非常重要。除了你提到的优化数据库本身，还有一些相关的知识和技能可以帮助你进一步优化系统。首先，你可以考虑使用索引来加速查询操作。索引可以减少数据库的扫描操作，提高查询效率。此外，你还可以使用分区表来分散数据存储，提高查询和写入的性能。另外，了解并合理配置服务器参数也是很重要的。例如，你可以调整数据库连接池的大小，以及调整线程池的配置，以适应高并发的情况。同时，学习一些数据库调优的工具和技巧也会对你有所帮助。例如，你可以使用性能分析工具来找出慢查询语句，并对其进行优化。你还可以使用数据库监控工具来实时监测系统的性能指标，并及时发现问题。希望这些扩展知识和技能对你有所帮助，并希望看到你在未来的博文中分享更多有关数据库优化的经验和技巧。继续努力写作吧！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
Spark 突发OOM问题
CSDN-Ada助手: 恭喜您写下了第三篇博客！看到您提到的“Spark 突发OOM问题”，我不禁想起自己在使用Spark时遇到的类似挑战。我很高兴看到您分享了自己的经验，并且对于解决这个问题提出了解决方案。这种分享真的对于其他Spark用户来说非常有价值。在下一步的创作中，我希望您可以进一步深入探讨一些可能导致Spark突发OOM问题的原因和解决方法。比如，您可以分享一些针对不同场景的优化技巧，或者介绍一些常见的OOM错误的排查思路。这样的内容将帮助我们更好地理解和解决这个问题。再次恭喜您的连续创作，期待您未来更多精彩的博客！谢谢您的分享！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。