简单就好

原创 Spark streaming 作业需要注意的问题

根据实践，本文不断更新中。1、java.lang.OutOfMemoryError: GC overhead limit exceeded 分析：因为streaming是长进程服务，如果当初分配堆太小，运行很长时间后会出现GC overhead limit exceeded问题，查看driver进程gc信息发现老年代使用率达到99.6%，故处理方法是提高driver堆大小，同时提高老年代大小。