我们用hyperLogLog 来估计一个数,有偏差但也够用了hyperLogLog提供了两个数据结构:
pfadd:
pfcount:
但是HyperLogLog 没有判断是偶包含的方法,例如pfexists,pfcontains
例如:今日头条,推送的都是相似的,但没有重夫的
Bloom Filter 介绍
解决上面的去重问题,不会像使用缓存那样浪费空间,但也不太精确(让他精确占空间)
bloomFilter 的数据结构:
pfexists,(这个是精确的)
pfcontains
Bloon Filter 的安装
每一个布隆过滤器
网址:BloonFilter
docker 安装
docker run -p 6379:6379 --name redis-redisbloom redislabs/rebloom:latest
redis 服务器安装
git clone --recursive https://github.com/RedisBloom/RedisBloom.git
cd redisbloom
make