spark core内存oom问题初探

spark处理数据时，oom出现的概率很大，一般的离线RDD处理oom要了解spark执行过程中的内存模型。

spark的内存分为计算内存和存储内存，两者的比例通过spark.storage.memoryFraction（默认为0.6）进行调节计算内存和存储内存的比例，在spark1.6版本后spark会自动进行调节两者比例，以适应计算的任务

spark.shuffle.memoryFraction 是调节该参数用于设置shuffle过程中一个task拉取到上个stage的task的输出后，进行聚合操作时能够使用的Executor内存的比例，默认是0.2。也就是说，Executor默认只有20%的内存用来进行该操作。shuffle操作在进行聚合时，如果发现使用的内存超出了这个20%的限制，那么多余的数据就会溢写到磁盘文件中去，此时就会极大地降低性能。

还有一个重要的参数是task的数目，这个参数如果是使用的hdfs相关的数据，会和hdfs的partition数量相同。但是这个参数对于整个spark的执行具有重要的影响，一般建议是excutor*core数量的2-3倍，但是各个文章的说法不统一。但是大家统一的认识是task数量一定要大于excutor*core的数量，否则就会出现很多的core无task执行，空跑的现象，浪费资源。同时调节task数量的多少，决定了task的大小，进而间接影响了在excutor执行过程中的内存使用量的多少，会影响OOM现象的出现。