基于Kafak+SparkStreaming+Hbase框架的实时写入

kafka+sparkStreaming+Hbase实时写入

需求

最近在公司做了对数据流的实时监控功能，要求对每一条数据的流向都要进行监控（公司的架构中存在多套kafka），也就是说要对一条数据在各个kafka集群中的状态进行展示。由于以前对Hbase的了解度不够，中间踩了不少坑，好在从网上搜集了许多资源（各部分的来源记不清了。。。），进行了整合调试，最终满足了需求（已经部署到了线上）。具体过程就不废话了，直接代码。

具体代码

写入 Hbase

中间自定义了很多工具类，这里就不全部展示了。有意向的可以留下言。当然，也可以将这些自定义方法自己实现一下。

object A{
   
  def main(args: Array[String]): Unit = {
   
	  //要设置spark.serializer，否则会报序列化异常
    val conf = new SparkConf().setAppName("A").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    val sc = new SparkContext(conf)
    val pro = new GetProperties()
    val ssc = new StreamingContext(sc,Seconds(pro