spark UI告知已为存储内存分配了956.6 MB,是怎么计算的
spark UI告知已为存储内存分配了956.6 MB,是怎么计算的参数设置为spark.driver.memory=2gweb展示下过如下:spark1.6前后有两种不同的计算模型:静态内存模型:统一内存管理模型:官方计算公式:静态内存管理内存计算公式:ExecutionMemory = systemMemory * spark.shuffle.memoryFraction* spark.shuffle.safetyFraction= executor-memory*0.2*0.8
原创
2020-12-17 10:55:20 ·
471 阅读 ·
0 评论