pyspark写入mysql内存溢出_Spark开发-Spark内存溢出原因以及解决方式

Dpark内存溢出

Spark内存溢出

堆内内存溢出

堆外内存溢出

堆内内存溢出

java.lang.OutOfMemoryError: GC overhead limit execeeded

java.lang.OutOfMemoryError: Java heap space

具体说明

Heap size JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.

JVM在启动的时候会自动设置Heap size的值，

Heap size 的大小是Young Generation 和Tenured Generaion 之和。

提示：在JVM中如果98％的时间是用于GC且可用的Heap size 不足2％的时候将抛出此异常信息

Driver heap OOM的三大原因:

(1).用户在Driver端口生成大对象, 比如创建了一个大的集合数据结构

(2).从Executor端收集数据回Driver端

Executor heap OOM

堆外内存溢出

报错情况

Container killed by YARN for exceeding memory limits. 1*.4 GB of 1* GB physical memory used.

Consider boosting spark.yarn.executor.memoryOverhead.

基本内容介绍：

1.executor 和 container

01.Spark中的 executor 进程是跑在 container 中，所以container的最大内存会直接影响到executor的最大可用内存

02. yarn.nodemanager.pmem-check-enabled 该参数默认是true，也就是会由它来控制监控container的内存使用

03. yarn.scheduler.maximum-allocation-mb 设置值6114，也就是说单个container申请的最大内存是这么多，

执行任务的时候你的executer需要的内存超出这个值，那么就会被杀掉

container超过了内存的限制从而被kill掉

04.executor执行的时候，用的内存可能会超过 executor-memory

所以会为executor额外预留一部分内存。spark.yarn.executor.memoryOverhead 代表了这部分内存

即实际的内存

val executorMem = args.executorMemory + executorMemoryOverhead

05.memoryOverhead

如果没有设置 spark.yarn.executor.memoryOverhead ，则这部分的内存大小为

math.max((MEM