SparkUI超详细解释（5）——Executors

Executors

executors页面展示了executor和driver的一些统计信息和明细信息，汇总信息包括内存、磁盘、cpu的使用量，任务执行时间、GC时间，成功、失败、完成的task数量，以及输入输出的数据量等内容。明细信息除了和汇总信息相同的内容，还有每个executor和driver的日志信息。需要注意的是，这个页面中显示的内存使用和executor状态信息都是瞬时值，任务在执行过程中会一直变化，任务执行结束内存指标都会清零。

有关executors页面的自问自答

1.executor和driver到底是什么东西？

executor和driver并不是物理上的机器，而是宿主在机器上的跑在jvm上的进程，这点从address也可以看出（机器名+端口号）

2.storage memory中的总内存数代表什么意思，又是如何计算得出的呢？

参见我的这篇文章：storage memory是什么含义，如何被计算得出的