Spark(54) -- StructuredStreaming -- Streaming Deduplication（流去重）

在实时流式应用中，最典型的应用场景：网站UV统计。

• 业务需求一：实时统计网站UV，比如每日网站UV；
• 业务需求二：统计最近一段时间（比如一个小时）网站UV，可以设置水位Watermark；

在SparkStreaming或Flink框架中要想实现【网站UV统计】需要借助于外部存储系统，比如Redis内存数据库或者HBase列式存储数据库，存储UserId，利用数据库特性去重，最后进行count。

Structured Streaming可以使用deduplication对有无Watermark的流式数据进行去重操作：

• 第一、无 Watermark：对重复记录到达的时间没有限制。查询会保留所有的过去记录作为状态用于去重；
• 第二、有 Watermark：对重复记录到达的时间有限制。查询会根据水印删除旧的状态数据；
  官方提供示例代码如下：
  
  演示范例：对网站用户日志数据，按照userId和eventType去重统计，网站代码如下。

package com.erainm.spark.de