kafka+sparkStreaming+Hbase实时写入
需求
最近在公司做了对数据流的实时监控功能,要求对每一条数据的流向都要进行监控(公司的架构中存在多套kafka),也就是说要对一条数据在各个kafka集群中的状态进行展示。由于以前对Hbase的了解度不够,中间踩了不少坑,好在从网上搜集了许多资源(各部分的来源记不清了。。。),进行了整合调试,最终满足了需求(已经部署到了线上)。具体过程就不废话了,直接代码。
具体代码
写入 Hbase
中间自定义了很多工具类,这里就不全部展示了。有意向的可以留下言。当然,也可以将这些自定义方法自己实现一下。
object A{
def main(args: Array[String]): Unit = {
//要设置spark.serializer,否则会报序列化异常
val conf = new SparkConf().setAppName("A").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
val sc = new SparkContext(conf)
val pro = new GetProperties()
val ssc = new StreamingContext(sc,Seconds(pro