关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded

最近在升级一个框架的时候，发现某个流式计算程序每隔一定的时间就会出现GC overhead limit exceeded的错误问题。

这个问题肯定是内存不够，但是初始设置的内存是够的啊，于是进行各种内存优化，如将变量定义在循环体外等控制，但是发现只是将这个间隔时间往后推了一下而已。

还是没有找到症结所在。

后来再分析了下，可能是哪些变量占了内存没有及时释放掉，

看到了好几个dataframe的cache代码，但这个cache应该 spark有个自动释放清理的机制的。

为了进行测试，手动添加unpersist进行内存释放，再上线，发现问题果然消失了。

原来这个问题真的是内存的问题。

再仔细看了下官方说明。

Spark automatically monitors cache usage on each node and drops out old data partitions in a least-recently-used (LRU) fashion. If you would like to manually remove an RDD instead of waiting for it to fall out of the cache, use the RDD.unpersist() method.

可能还是这个自动机制在流式计算中有点赶不上，导致出现的错误。这个坑还是非常深。