Sparkstreaming读取Kafka消息经过spark处理写入hive表
spark-streaming-kafka-demo
使用Springboot框架,Sparkstreaming监听Kafka消息,Redis记录已读Kafka偏移量,Spark统计单词出现次数,最后写入Hive表。
代码参考:https://github.com/JunjianS/spark-streaming-kafka-demo
注意事项
版本信息
Kafka:2.12-2.3.0
S...
原创
2019-08-14 09:13:03 ·
6789 阅读 ·
1 评论