在工作中有时候我们可能会遇到Spark内存溢出问题,因此有必要了解一下Spark是如何进行内存管理的。在Spark 1.6.0以后的版本中,内存管理模型如下:
这里面可以看到三个核心组成部分:
1.Reserved memory
这是系统保留的内存,其大小是固定的,对于Spark1.6.0 来说其大小为300M, 意味着300M RAM不参与Spark内存空间计算。
2.User memory
这一部分是分配完Spark memory后剩余的部分。这部分可以用来存储用在RDD transformation过程的数据结构。在Spark 1.6.0中,这一部分大小可以用(“Java Heap” – “Reserved Memory”) * (1.0 – spark.memory.fraction)来计算,默认是(“Java Heap” – 300MB) * 0.25。
3.Spark memory
这是Apache Spark管理的内存池,其大小可以用(“Java Heap” – “Reserved Memory”) * spark.memory.fraction来计算,在Spark 1.6.0中默认是(“Java Heap” – 300MB) * 0.75
。这一部分可以分为两个区间:Storage memory和Execution memory, 他们的大小是通过 spark.memory.storageFraction参数来设置的,默认是0.5,值得注意的是这一比例并不是静止不变的。
Storage memory:主要用来存储Spark的缓存数据,如RDD缓存,broadcast变量
Execution memory:主要用来存储shuffle,join, sort,aggregation计算过程的临时数据。比如可以用来存储map side的shuffle的中间结果,也可以用来存储hash aggregation的hash table。
Reference:https://0x0fff.com/spark-memory-management/