weixin_40721856的博客

原创 使用redis的bitmap时，减少内存消耗

背景：实时数仓往往需要维护一些id（持续增加，不适用于用户id等）来进行去重计算，如果id的数据过大，使用bitmap会造成内存浪费。现以event_id为例来记录一下解决思路（解决办法不唯一，这里只是记录一下我的思路）。过程：1、首先event_id每天的变化范围在200万至500万之间，如果从bitmap第一位开始维护，每天的内存消耗应该小于1M。2、我们目前的id大小在15亿以上，至...