Spark-Streaming的ExactlyOnce
1.SparkStreamming介绍
SparkStreaming是spark技术栈中做实时处理的工具,是一个微批次准实时的流式处理引擎。
我们在做实时处理的时候,通过kafka采集数,将数据读入sparkstreamming中进行处理。
2.整合kafka
方式 1 Receiver方式
这个方式已经过时,不建议使用
缺点:
Receiver方式为了保证数据安全,将数据写入磁盘记录日志【wr...
原创
2019-11-30 17:53:40 ·
362 阅读 ·
0 评论