超级会员免费看
声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。
《2021年最新版大数据面试题全面开启更新》
消除重复数据是实际业务中经常遇到的一类问题。在大数据领域，重复数据的删除有助于减少存储所需要的存储容量。而且在一些特定的业务场景中，重复数据是不可接受的，例如，精确统计网站一天的用户数量、在事实表中统计每天发送的快递包裹数据。在传统的离线计算中，可以直接用SQL通过DISTINCT函数，或者数据量继续增加时会用到类似MR的思想。那么在实时计算中，去重计数时一个增量和长期的过程，并且不同的场景下因为效率和精度问题方案也需要变化。
针对上述问题，Flink常见的去重方案：
- 基于状态后端
- 基于HyperLogLog
- 基于布隆过滤器（BloomFilter）
- 基于BitMap
- 基于外部数据库
基于状态后端
Flink状态后端的种类之一就是RocksDBStateBackend。他会将正在运行中的状态数据保存在RocksDB数据库中，该数据库默认将数据存储在TaskManager运行节点的数据目录下。
RocksDB是一个K-V数据库，可以利用MapState进行去重。模拟一个场景，计算每个商品SKU的访问量。
整体代码如下：
public class MapStateDistinctFunction extends KeyedProcessFunction<S
订阅专栏 解锁全文
1201
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
