- 博客(4)
- 收藏
- 关注
RSS订阅原创 实时项目需求一：统计新老用户量
用布隆过滤器+算子的键控状态，如果这个用户id存在过，就不是新用户，isNew=0，否则为1。布隆能判断某个用户id一定不存在，则表示一定是新用户，但是不能确定一定存在，所以有精度问题。把数据写到clinkhouse做分析，做计算，用SQL处理，在flink把数据在kafka的topic+分区+offset当做唯一标识，确保端到端的精确一次消费。将布隆过滤器+算子的方法进行优化，算子状态改为OperatorState，一个task内共享，一个taskslot只需要一个布隆过滤器。
2023-09-08 21:05:06
97
1
原创 zookeeper选主机制
我们知道Zookeeper的临时节点可以用来实现分布式锁，多个客户端分别创建一个节点，创建成功即成功获取到了锁，创建失败的客户端们则会监听这个临时节点，获取锁的客户端释放锁（删除临时节点）或 与ZK服务端断开连接后（ZK会删除临时节点），其他客户端会收到Watch发来的通知，兄弟们，它释放锁了，你们过来抢占锁吧。这个临时节点只会有一个，当服务器断开，自动失效。
2023-06-23 08:52:51
223
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人