本文探讨了在实时流处理中如何使用Spark的Structured Streaming进行去重操作，特别是在网站UV统计场景下。通过介绍和代码演示，展示了无Watermark和有Watermark情况下如何处理重复记录，并提供了针对userId和eventType进行去重的示例代码。
文章目录
Streaming Deduplication
介绍
在实时流式应用中，最典型的应用场景：网站UV统计。
1:实时统计网站UV，比如每日网站UV；
2:统计最近一段时间（比如一个小时）网站UV，可以设置水位Watermark；
Structured Streaming可以使用deduplication对有无Watermark的流式数据进行去重操作:
1.无
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
