Spark
文章平均质量分 87
wg_hadoop
这个作者很懒,什么都没留下…
展开
-
spark问题优化
1、ERROR cluster.YarnScheduler: Lost executor 5 onhdp-14-9876: Container marked as failed: container_1560518528256_0014_01_000003 on host: hadoop-master. Exit status: 143. Diagnostics: Container killed on request. Exit code is 143 Container exited with a no原创 2021-08-18 11:42:54 · 384 阅读 · 1 评论 -
Spark Executor 内存管理
本文主要对 Executor 的内存管理进行分析,下文中的 Spark 内存均特指 Executor 的内存 堆内内存和堆外内存 作为一个 JVM 进程,Executor 的内存管理建立在 JVM 的内存管理之上,此外spark还引入了堆外内存(不在JVM中的内存),在spark中是指不属于该executor的内存。 堆内内存:由 JVM 控制,由GC(垃圾回收)进行内存回收,堆内内存的大小,由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参转载 2021-07-22 17:29:10 · 964 阅读 · 0 评论 -
Spark内核原理
Application spark-submit Driver SparkContext Master Worker Executor Job DAGScheduler TaskScheduler ShuffleMap Task and Result Task原创 2020-11-18 15:12:27 · 124 阅读 · 0 评论