spark运行报错：Container killed by YARN for exceeding memory limits

用spark跑数据量大的离线调度任务报错：Reason: Container killed by YARN for exceeding memory limits. 19.0 GB of 19 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.

Spark 报错 Container killed by YARN for exceeding memory limits 表示 Spark 的 Executor 容器因为超出 YARN 分配的内存限制而被 YARN 杀死。在 Spark 中，每个 Executor 进程都会有自己的容器，并且这个容器的内存使用是由 YARN 监控的。

错误信息中的 "19.0 GB of 19 GB physical memory used" 指出了问题的关键点：Executor 使用了全部分配给它的物理内存。通常情况下，Executor 的内存需求可能超过你为其分配的内存，这是因为除了应用程序的堆内存（Heap Memory）之外，还有一些额外的开销，例如操作系统本身、JVM 的非堆内存（如代码缓存、线程栈等）、以及 Spark 的内部开销。

spark.yarn.executor.memoryOverhead 配置项就是用来处理这种额外开销的。如果你的 Executor 正好用完了所有分配的内存，那么增加 spark.yarn.executor.memoryOverhead 可以帮助预留更多的内存，避免被 YARN 因为超出限制而杀死。

解决方案：

1. 增加 spark.yarn.executor.memoryOverhead 配置： 在 Spark 的配置中增加或修改 spark.yarn.executor.memoryOverhead 的值。默认情况下，这个值是基于你配置的 executor-memory 自动计算的。但是，如果默认值不够，你可以手动增加它。例如，如果你的 Executor 内存是 19GB，你可能需要增加 memoryOverhead 到一个合适的值，比如 3GB 或更多：

   深色版本

   spark.yarn.executor.memoryOverhead 3072

2. 禁用 YARN 虚拟内存检查： 如果你确定你的应用程序不会滥用虚拟内存，并且你的节点有足够的交换空间来处理可能的内存溢出，你可以禁用 YARN 的虚拟内存检查，通过设置 yarn.nodemanager.vmem-check-enabled 为 false：

   深色版本

   yarn.nodemanager.vmem-check-enabled false

   注意：这可能会导致节点的不稳定，因为它允许 Executor 使用比物理内存更多的虚拟内存，从而可能导致系统交换过多，降低性能甚至崩溃。

3. 调整 Executor 内存分配： 如果可能的话，减少每个 Executor 的内存需求，或者增加集群的总内存资源。你可以通过调整 spark.executor.memory 参数来控制 Executor 的内存大小。

4. 优化数据处理逻辑： 优化你的 Spark 应用程序，减少内存消耗。这可能包括使用更有效的数据结构、减少数据集的大小、使用内存友好的算法等。

在实施这些更改后，你应该重新启动 Spark 应用程序并监控其内存使用情况，确保没有再次超出限制。如果问题仍然存在，可能需要进一步调查你的应用程序是否有效利用了内存资源。

要在使用 spark-submit 命令行工具时解决因内存溢出而导致的 YARN 容器被杀的问题，你需要在提交 Spark 应用程序时修改相关的配置参数。以下是如何在 spark-submit 命令中进行修改的详细步骤：

修改 spark.yarn.executor.memoryOverhead

假设你的原始 spark-submit 命令如下：

spark-submit --class com.example.MainClass \
             --master yarn \
             --deploy-mode cluster \
             --num-executors 10 \
             --executor-memory 19g \
             --executor-cores 4 \
             path/to/your/application.jar arg1 arg2

要增加 spark.yarn.executor.memoryOverhead，你可以在命令中添加一个新的参数：

spark-submit --class com.example.MainClass \
             --master yarn \
             --deploy-mode cluster \
             --num-executors 10 \
             --executor-memory 19g \
             --executor-cores 4 \
             --conf spark.yarn.executor.memoryOverhead=3072 \
             path/to/your/application.jar arg1 arg2

这里将 spark.yarn.executor.memoryOverhead 设置为了 3072 MB (3 GB)。这个值可以根据你的实际需求进行调整。

禁用 YARN 虚拟内存检查

如果要禁用 YARN 的虚拟内存检查，你可以在 spark-submit 命令中添加如下配置：

spark-submit --class com.example.MainClass \
             --master yarn \
             --deploy-mode cluster \
             --num-executors 10 \
             --executor-memory 19g \
             --executor-cores 4 \
             --conf spark.yarn.executor.memoryOverhead=3072 \
             --conf yarn.nodemanager.vmem-check-enabled=false \
             path/to/your/application.jar arg1 arg2

请注意，禁用虚拟内存检查是一个高风险的操作，因为它可能导致整个节点的稳定性下降。

总结修改后的 spark-submit 命令

最终的 spark-submit 命令应该看起来像这样：

spark-submit --class com.example.MainClass \
             --master yarn \
             --deploy-mode cluster \
             --num-executors 10 \
             --executor-memory 19g \
             --executor-cores 4 \
             --conf spark.yarn.executor.memoryOverhead=3072 \
             --conf yarn.nodemanager.vmem-check-enabled=false \
             path/to/your/application.jar arg1 arg2

确保在修改任何配置之前，你已经理解了这些配置项的作用，并且在生产环境中谨慎操作，避免造成不必要的性能影响或稳定性问题。如果可能，先在测试环境中试验这些修改。