本文聚焦于Spark在Yarn Cluster模式下遇到的JVM OOM和Driver的Stack Overflow问题。在Cluster模式中，由于Driver的内存配置不变，可能导致OOM问题，而正常业务逻辑中很少出现大于50M的对象。此外，讨论了Driver在不同模式下的内存行为。同时，文章也探讨了解决Driver Stack Overflow的方法。
第146课： Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案
1 spark on yarn 下jvm的OOM的问题及解决方式
2 spark中 driver的stack overflow的问题及解决方式
Yarn Cluster生产环境下JVM问题 OOM
为什么客户端模式一定没有OOM，而Cluster模式一定发生OOM，两者之间的区别是driver部署不同，因此
OOM是driver级别导致的OOM
driver在client客户端模式的内存100M，那么在Cluster模式也会是100M，不会一下增长到
487
6730
6212
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
扫一扫
