在前进的路上

一：背景Spark 任务出现了container内存负载出现OOM二：问题 Application application_xxx_xxxx failed 2 times due to AM Container for appattempt_xxxx_xxxx_xxxx exited with exitCode: -104Failing this attempt.Diagnostics: Container [pid=78835,containerID=container_...

一、背景 Spark是基于内存的分布式计算引擎，我们需对Executor内存管理的详细了解，方便我们遇到OOM解决问题、或者优化时更好调优，，Spark任务启动时有两个进程，分别为Driver、Executor进程，Driver进程（内存默认1G）可能在本地启动，也可能在集群中某个工作节点上启动（根据提交模式client、Cluster等）。Driver启动会申请资源（Executor），根据配置启动对应Executor数量，每个Executor进程都会对应一定数量的内存和CPU COR...

概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需