spark 内存管理

spark 内存管理

      Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块； Spark的内存可以大体归为两类：execution（运行内存）和storage（存储内存），前者包括shuffles、joins、sorts和aggregations所需内存，后者包括cache和节点间数据传输所需内存；

        在Spark 1.5和之前版本里，运行内存和存储内存是静态配置的，不支持借用；Spark 1.6之后引入的统一内存管理机制，与静态内存管理的区别在于存储内存和执行内存共享同一块空间，可以动态占用对方的空闲区域，提供更好的性能。

静态内存管理——spark1.5

    spark1.6 及以后兼容了 spark1.5 的内存管理。当配置 spark.memory.useLegacyMode=true 时，采用spark1.5的内存管理；当spark.memory.useLegacyMode=false时，采用spark1.6 及以后的内存管理。

spark1.5 的内存管理实现类： StaticMemoryManager

spark.storage.memoryFraction：

        spark 存储总内存占 系统内存的百分比，默认是 0.6。

spark.shuffle.memoryFraction：

        spark shuffle 执行用到的内存 占系统内存的百分比，默认是0.2。</