spark内存管理
一.spark内存管理只堆内存/堆外内存前世今生
1.堆内存和对外内存
作为jvm进程,executor的内存管理建立在jvm之上,spark对jvm的堆内空间进行了更为详细的分配,以充分利用内存,
1.1堆内存的大小
堆内存的大小,由spark应用程序启动的xexcuto-memory或spark-executor-memory参数配置,Executor内运行的并发任务共享JVM堆内内存,这些任务在缓存RDD和广播(Broadcast)数据时占用的内存被规划为存储(Storage)内存,而这些任务
原创
2020-09-01 21:56:17 ·
314 阅读 ·
0 评论