Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定 的、并且是很小的。
在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基 数。这和计算基数时,元素越多耗费内存就越多的集合形成鲜明对比。
但是,因为 HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。
基数的理解:比如数据集 {1,5,8, 3, 5, 7, 5, 7, 8}, 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素的个数)为5。 基数估计就是在误差可接受的范围内,快速计算基数
tian@yuan:/usr/local/bin$ redis-cli
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> pfadd k1 "java" ---- 添加指定元素到 HyperLogLog:k1 中,如果k1中存在,则添加失败。
(integer) 1
127.0.0.1:6379> pfadd k1 "python"
(integer) 1
127.0.0.1:6379> pfadd k1 "shell"
(integer) 1
127.0.0.1:6379> pfadd k1 "java" ---- 添加"java"元素到 k1 中,由于k1中已经存在"java",所以本次添加失败。
(integer) 0
127.0.0.1:6379> pfcount k1 --- 返回给定 HyperLogLog 的基数估算值,k1中添加了3个元素,所以返回3.
(integer) 3
127.0.0.1:6379> pfadd k2 "java"
(integer) 1
127.0.0.1:6379> pfadd k2 "c++"
(integer) 1
127.0.0.1:6379> pfadd k2 "c"
(integer) 1
127.0.0.1:6379> pfcount k2
(integer) 3
127.0.0.1:6379> pfmerge k3 k1 k2 -- 将多个 HyperLogLog 合并为一个 HyperLogLog:将k1和k1合并到k3中,由于k1和k2都包含"java",所以在合并到k3时只保留一个。
OK
127.0.0.1:6379> pfcount k3
(integer) 5
有关的链接: Redis 中 HyperLogLog 的使用场景 - 程序员自由之路 - 博客园