1.Bitmaps
1.1.简介
-
进行为操作的字符串。
-
现代计算机使用二进制位作为信息的基础单位, 1个字节等于8位, 例如“abc”字符串是由3个字节组成, 但实际在计算机存储时将其用二进制表示, “abc”分别对应的ASCII码分别是97、 98、 99, 对应的二进制分别是01100001、 01100010和01100011,如下图:
-
合理地使用操作位能够有效地提高内存使用率和开发效率。
-
Redis提供了Bitmaps这个“数据类型”恶意实现对位的操作:
1.Bitmaps本身不是一种数据类型,实际上它就是字符串(key-value),但是它可以对字符串的位进行操作。
2.Bitmaps单独提供了一套命令,所以在Redis中使用Bitmaps和使用字符串的方法不太相同。可以把Bitmaps想象成一个以位为单位的数组,数组的每个单元只能存储0和1,数组的下标在Bitmaps中叫做偏移量。
1.2.相关命令
1.setbit key offset value
:
- 设置Bitmaps中某个偏移量(下标索引)的值(0或1),offset从0开始。
- 示例:每个独立用户是否访问过网站,offset表示用户Id,value=1表示访问过。假设现在有20个用户,其中userid=1,6,11,15,19的用户对网站进行了独立访问。那么对应的Bitmaps结果如下。
- 注意:第一次初始化Bitmaps时,假如偏移量非常大,那么整个初始化过程执行会比较慢,可能造成Redis的阻塞。
2.getbit key offset
:获取某个Bitmaps的对应offset的值
getbit users:2021 19
3.bitcount key [start end]
:统计某个Bitmaps中的值为1的个数。
bitcount users:2021
- 注意:start end参数表示的是字节byte序号。且都可以使用负数值,比如-1表示最后一个字节,而-2表示倒数第二个字节。比如上述例子:
注意:redis的setbit设置或清除的是bit位置,而bitcount计算的是byte位置。
4.bitop and(or/not/xor) destkey [key...]
-
bitop是一个复合操作,它可以做多个Bitmaps的and交集,or并集,not非,xor异或操作,并将它们保存在destkey中。
-
示例:
2020-11-04日访问网站的userid=1,2,5,9
2020-11-03日访问网站的userid=0,1,4,9
-
计算出这两天都访问过网站的用户总数量:取交集1和9
bitop and users:and users:2020-11-03 users:2020-11-04
-
取交集图示
-
计算出这两天访问过这个网站的用户的总数量:取并集
bitop or users:or users:2020-11-03 users:2020-11-04
1.3.Bitmaps和Set的对比
- 情景一活跃用户量很大:假设网站有1亿用户,每天独立访问的用户有5千万,如果每天用集合类型和Bitmaps分别存储活跃用户可以得到表。
很明显,这种情况下使用Bitmaps能节省很多的内存空间,尤其是随着时间推移能节省的内存还是非常可观的。
- 情景2活跃用户量很少:假如该网站每天的独立访问用户很少,例如只有10万(存在大量的僵尸用户),那么两者的对比如下,很显然此时使用Bitmaps就不太合适了,因为基本上大部分位都是0.
2.HyperLogLog
2.1简介
-
在工作中,我们经常遇到与统计相关的功能需求,比如统计网站PV页面访问量,可以使用Redis的icnr,incrby轻松实现。但像UV(UniqueVisitor独立访客),独立IP数,搜索记录数等需要去重和计数的问题如何解决?这种求集合中不重复元素个数的问题称为
基数问题
。 -
解决基数问题有很多种方案:
1.数据存储在MySQL表中,使用distinct count计算不重复个数。
2.使用Redis提供的hash、set、bitmaps等数据结构来处理。
以上解决方案结果精准,但随着数据不断增加,导致占用空间越来越大,对于非常大的数据集是不切实际的。 -
能否降低一定的精度来平衡存储空间呢?redis推出了HyperLogLog。
-
HyperLogLog是用来做基数统计的算法,HyperLogLog的优点是再输人元素的数量或者体系非常非常大时,计算基数所需要的空间总是固定的,而且是很小的。
-
在Redis中,每个HyperLogLog键只需要花费12KB内存,就可以计算接近264个不同元素的基数(个数)。这和计算基数时,元素越多耗费内存越多的集合形成鲜明的对比。
-
但是因为HyperLogLog只会根据输入元素来计算基数,它不会存储输入的元素本身,所以HyperLogLog不能像集合那样,返回输入的各个元素。
-
什么是基数:不重复元素个数
比如数据集{1,3,5,7,5,7,8},那么这个数据集的基数集为{1,3,5,7,8},基数(不重复元素个数)为5.基数估计就是在误差可接受的范围内,快速计算基数。
2.2.相关命令
1.pfadd key element [element...]
:添加指定元素,但是HyperLogLog不存储元素,只是存储不同元素个数。如果近似基数发生变化,返回1,否则返回0.
2.pfcount key
:计算HyperLogLog的基数
- 注意:可以合并计算多个HyperLogLog的整体近似基数,比如用7个HyperLogLog存储每天的UV,计算一周的UV可以使用7天的UV合并计算。
- 示例:
program有java php c++
program2有java,c++,sql
计算两者合并的基数:pfcount program program2
3.pfmerge destkey sourcekey [sourceky...]
- 将一个或者多个HyperLogLog合并后的基数结果存储在另一个HLL中,比如每月活跃用户可以使用每天的活跃用户来合并计算可得。
pfmerge program-sum program program2
3.Geospatial
3.1.简介
- Redis3.2中增加了对GEO类型的支持。GEO,Geographic地理信息的缩写。该类型就是元素的2维坐标,在地图上就是经纬度。redis基于该类型,提供了经纬度设置,查询,范围查询,经纬度Hash等常见操作。
3.2.相关命令
1.geoadd key 经度 纬度 名称 [经度 纬度 名称...]
-
geoadd china:city 121.47 31.23 shanghai
-
geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 11 6.38 39.90 beijing
-
两极无法直接添加,一般会下载城市数据,直接通过Java程序一次性导入。
-
有效的经度从-180度到180度;有效的纬度从-85.05112878度到-85.05112878度。当坐标位置超出指定范围时,该命令将返回一个错误。
-
已经添加的数据,是无法再次往里面添加的。
2.geopos key member []member...
:获得指定地区的坐标值。
geoadd china:city 121.47 31.23 shanghai
geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 11 6.38 39.90 beijing
3.geodist key member1 member2
:获取两个位置之间的直线距离
-
geodist china:city shanghai beijing
:上海和北京的直线距离:1068153米
4.georadius key 经度 纬度 半径 单位
:以给定的经纬度为中心,找出Geospatial中在某一半径内的元素。
-
georadius china:city 121 31 1200 km