- 博客(1)
- 收藏
- 关注
原创 使用redis的bitmap时,减少内存消耗
背景: 实时数仓往往需要维护一些id(持续增加,不适用于用户id等)来进行去重计算,如果id的数据过大,使用bitmap会造成内存浪费。现以event_id为例来记录一下解决思路(解决办法不唯一,这里只是记录一下我的思路)。 过程: 1、首先event_id每天的变化范围在200万至500万之间,如果从bitmap第一位开始维护,每天的内存消耗应该小于1M。 2、我们目前的id大小在15亿以上,至...
2019-11-17 19:28:20 1868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人