- 博客(2)
- 收藏
- 关注
原创 谈谈Roaring Bitmap
BitMap/BitSet被广泛的应用于数据查询中,但其由于数据稀疏造成的内存浪费也不可忽视,因此对压缩BitMap的探索一直在进行,比较知名的有WAH、EWAH、Roaring Bitmap等。其中性能最好并且应用最为广泛的当属Roaring Bitmap,比如Spark、Lucene、Redis、Influxdb等著名项目中都可以看到Roaring Bitmap身影,下面就谈谈Roaring ...
2020-01-19 00:16:39 2157 1
原创 谈谈Bloom Filter
海量数据的过滤及去重,老生常谈的话题了。Bitmap和Bloom Filter是常见的结决办法。Bitmap的思路很单纯,一条数据是否存在只需要一个Bit就可以表示,因此一个Byte可以表示8条数据的布尔值,为每一个可能出现的值分配一个bit,一般Bitmap用来解决某个数字是否存在,这个数字就是Index。在JDK中的实现为BitSet,底层实现为long数组。Bitmap不做过多介绍,原理实...
2020-01-16 16:20:09 276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人