Spark内存溢出原因以及解决方式

Spark内存溢出
   堆内内存溢出
   堆外内存溢出

堆内内存溢出

java.lang.OutOfMemoryError: GC overhead limit execeeded
java.lang.OutOfMemoryError: Java heap space
 具体说明
  Heap size  JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.
  JVM在启动的时候会自动设置Heap size的值，
  Heap size 的大小是Young Generation 和Tenured Generaion 之和。
  提示：在JVM中如果98％的时间是用于GC且可用的Heap size 不足2％的时候将抛出此异常信息
  Driver heap OOM的三大原因:
   (1).用户在Driver端口生成大对象, 比如创建了一个大的集合数据结构
(2).从Executor端收集数据回Driver端
 Executor heap OOM

堆外内存溢出

报错情况

Container killed by YARN for exceeding memory limits. 1*.4 GB of 1* GB physical memory used. 
 Consider boosting spark.yarn.executor.memoryOverhead.

基本内容介绍：

1.executor 和 container
  01.Spark中的 executor 进程是跑在 container 中，所以container的最大内存会直接影响到executor的最大可用内存
  02. yarn.nodemanager.pmem-check-enabled 该参数默认是true，也就是会由它来控制监控container的内存使用
  03. yarn.scheduler.maximum-allocation-mb 设置值6114，也就是说单个container申请的最大内存是这么多，
	   执行任务的时候你的executer需要的内存超出这个值，那么就会被杀掉
	    container超过了内存的限制从而被kill掉
   04.executor执行的时候，用的内存可能会超过 executor-memory
        所以会为executor额外预留一部分内存。spark.yarn.executor.memoryOverhead 代表了这部分内存
		即实际的内存
		  val executorMem = args.executorMemory + executorMemoryOverhead
	05.memoryOverhead
    如果没有设置 spark.yarn.executor.memoryOverhead ，则这部分的内存大小为
        math.max((MEMORY_OVERHEAD_FACTOR * executorMemory).toInt, MEMORY_OVERHEAD_MIN))
	   其中