Spark Structured Streaming+Kafka+Hbase Scala版教程
前言
最新在写Spark中间遇到很多坑,在这里总结下来供后来人参考,主要是因为网上的例子真的太少了,而且写的不详细,下边是我集合自己环境以及业务的代码样例。这里只有代码没有环境搭建的内容。
环境介绍
开发工具IDEA
集群环境CDP 7.1.4
Spark 2.4.5
语言Scala 2.12
最新在写Spark中间遇到很多坑,在这里总结下来供后来人参考,主要是因为网上的例子真的太少了,而且写的不详细,下边是我集合自己环境以及业务的代码样例。这里只有代码没有环境搭建的内容。
开发工具IDEA
集群环境CDP 7.1.4
Spark 2.4.5
语言Scala 2.12