Spark内存管理计算详述

问题：给Executor指定1GB的运行内存，实际上的存储内存和执行内存占多少？

第一步：先计算最大可用JVM内存

默认配置下：

• 新生代占 : 老年代 = 1 : 2，即年轻代占整个堆内存的 1/3
• Edon : S0 : S1 = 8 : 1 : 1，可用Survivor占 1/10

则最大可用内存为 1024 * 1002 * 1024 = 1,073,741,824 * ( 1 - 1/3 * 1/10 ) = 1,037,950,429.866667 = 989.8666666666667 MB

半数Survivor大小为 35,791,394.13333333 = 34.1333333 MB

第二步：计算存储内存和执行内存占用内存大小

默认配置下：

• （最大可用内存 - 300MB）* 60% = 存储内存(50%) + 执行内存(50%)

(989.8666666666667 - 300) * 0.6 = 689.8666666666667 * 0.6 = 413.92 MB = 206.96 * 2

参考

JVM Runtime.maxMemory 计算方法-CSDN博客

JVM常用基础参数SurvivorRatio详解-CSDN博客

JVM常用基础参数NewRatio详解-CSDN博客

实战验证

举个其他例子

这里给出具体的计算公式：

        我们申请为1G内存，但是真正拿到内存会比这个少，这里涉及到一个Runtime.getRuntime.maxMemory 值的计算，Runtime.getRuntime.maxMemory对应的值才是程序能够使用的最大内存，上面也提到了堆划分了Eden,Survivor,Tenured区域，所以该值计算公式为： ExecutorMemory = Eden + 2 * Survivor + Tenured = 1GB = 1073741824 字节systemMemory = Runtime.getRuntime.maxMemory = Eden + Survivor + Tenured = 954437176.888888888888889 字节（半个Survivor约占0.111111111）
        基于Spark的动态内存模型设计，其中有300MB的预留内存，因此剩余可用内存为总申请得到的内存-预留内存reservedMemory = 300MB = 314572800字节usableMemory = systemMemory - reservedMemory = 954437176.888888888888889 - 314572800 = 639864376.888888888888889字节
        Spark Web UI界面上虽然显示的是Storage Memory，但其实是Execution+Storage内存，即该部分占用60%比例Storage + Execution = usableMemory * 0.6 = 639864376.888888888888889 * 0.6 = 383918626.133333333333333 字节
        通过第三步骤即可看出实际的内存分配情况了，注意：web ui界面得到的结果计算是除于1000转换得到的值。

参考：Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常_本地spark程序jvm大小-CSDN博客