spark 内存溢出导致executor挂掉的原因
通常我看看到的表象是类似于 shuffle fetch fail ..caused by 某个host lost connection 这就是内存溢出挂掉了。为什么会出现这种情况呢。
1. 首先对于缓存非序列话数据的集合都实现了SizeTracker接口类,该接口有估计集合大小的方法,而SizeTracker接口类实际使用的是采样估计,在两次较为准确的采样估计之间,集合的大小是通过平均数计算的方法得到的大小,就容易导致如果在前几次更新的数据较小导致平均数较小,而现在数据较大,计算得到的大小远小于实际大小
原创
2021-07-29 00:03:38 ·
701 阅读 ·
0 评论