本文介绍了使用Flink进行实时数据去重的两种方案：1) 设定1天窗口，利用RoaringBitmap状态和countTrigger实现去重，并将结果存储到Doris进行UV计算；2) 5分钟窗口内，使用RoaringBitmap序列化字符串，数据存储后由后端接口计算5min粒度的UV。对于倾斜问题，采用两阶段发送策略。
1、flink去重+doris uv计算方案，
流定义1day的窗口时间，在窗口中维护一个RoaringBitmap状态，自定义trigger为countTrigger, 来一个数据触发一次，之后如果user_id在状态中存在则不往下游发送。最后所有的数据都sink doris中，由doris来计算实时uv。
1.1倾斜的话，就两阶段发送，第一阶段key+盐， 第二阶段去掉盐
2、flink 5分钟窗口去重 + key value为user_id组成的RoaringBitmap的序列化字符串。
每个时间段append到下游的存储引擎中
最后由后端接口，来计算粒度为5min的任意时间段的uv
3、
8135
1395
1581
1158
957
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
