【Spark 实战系列】sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能

sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能

上一篇文章中说了 StreamingListener 的使用,可以自己获取到很多的信息,比如程序的处理延迟,调度延迟,在流式的任务中,报警是非常重要的,比如程序运行延迟太大,或者调度延迟变大,都会对程序的稳定性造成影响,我们需要及时的知道这些信息,做出相应的处理,下面就来看一下如何基于 StreamingListener 完成对 sparkstreaming 程序异常的监控报警功能(代码还是之前的)。

DEMO

package spark

import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j