背景
该文基于spark 3.0.1
spark 3.0引入了一个新的插件框架,其实这个插件在spark 2.x就已经存在了,只不过spark 3.0对该插件进行了重构。因为在之前该插件是不支持driver端的,具体可以见SPARK-29396。至于为什么引入这么一个插件 是为了更好的监控和定制一些指标,以便更好的进行spark调优。
插件功能
-
支持自定义的指标
用户可以写代码进行自定义指标的编写,而这些指标和spark的指标结合, 这样就能通过sinks进行收集,具体参见metrics -
executor和driver可以定制listener发送事件
因为在driverPluginContainer 中我们可以获取到sparkcontext,从而可以注册对应的listener进行处理。
而在executor端,ExecutorPluginContainer中我们可以实现TaskCompletionListener和TaskFailureListener接口,通过TaskContext.get 注册对应的回调 -
executor 插件和 driver插件可以通过RPC进行交互
源码实现
关于源码实现其实还是比较好理解的,自行参考源码PluginContainer,SparkPlugin,DriverPluginContainer,ExecutorPluginContainer
Demo
- SparkPlugins
该例子自定义了操作系统级别的指标以及HDFS级别的metrics等 - spark-memory
注意该实现是基于spark 2.x的,但是我们可以基于此进行改造能够集成到spark 3.x中,但是在spark 3.x中,spark.metrics.executorMetricsSource.enabled默认为true,也就是该spark-memory暴露出来的指标已经集成到了spark中了,在此可以作为一个参考。