Redis——三种特殊数据类型 Geospatial Hyperloglog Bitmaps

最新推荐文章于 2022-04-19 14:27:50 发布
最新推荐文章于 2022-04-19 14:27:50 发布
阅读量2.5k 收藏 2
点赞数 6
分类专栏： Redis 文章标签： redis 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cantevenl/article/details/115838649
版权

Redis三种特殊数据类型

Bitmaps

Bitmaps这个数据结构可以实现对位的操作。Bitmaps实际上就是字符串，但是它可以对字符串的位进行操作。

可以把Bitmaps想象成一个以位为单位数组，数组中的每个单元只能存0或者1，数组的下标在bitmaps中叫做偏移量。单个bitmaps的最大长度是512MB，即2^32个比特位。

详细可以参考大佬写的

Bitmaps类型的基础操作

  • 获取指定key对应偏移量上的bit值

    getbit key offset

  • 设置指定key对应偏移量上的bit值，value只能是1或0

    setbit key offset value

使用bitmap来记录 周一到周日的打卡！
周一:1 周二:0 周三:0 周四:1.....
127.0.0.1:6379> setbit sign 0 1
(integer) 0
127.0.0.1:6379> setbit sign 1 0
(integer) 0
127.0.0.1:6379> setbit sign 2 0
(integer) 0
127.0.0.1:6379> setbit sign 3 1
(integer) 0
127.0.0.1:6379> setbit sign 4 1
(integer) 0
127.0.0.1:6379> setbit sign 5 0
(integer) 0
127.0.0.1:6379> setbit sign 6 0
(integer) 0
# 查看某一天是否有打卡！
127.0.0.1:6379> getbit sign 3
(integer) 1
127.0.0.1:6379> getbit sign 6
(integer) 0
#统计操作，统计打卡的天数
127.0.0.1:6379> bitcount sign	# 统计这周打卡记录，就可以看见是否全勤
(integer) 3

应用案例

  • 电影网站
    • 统计每天某一部电影是否被点播
    • 统计每天有多少部电影被点播
    • 统计每周/月/年有多少部电影被点播
    • 统计年度哪部电影没有被点播

解决方案

  • 对指定key按位进行交、并、非、异或操作，并将结果保存到destKey中

    bitop op destKey key1 [key2…]

    • and：交
      or：并
      not：非
      xor：异或

  • 统计指定key中1的数量

    bitcount key [start end]

状态的统计
127.0.0.1:6379> setbit 20201229 0 1		# 20201229日这一天 0号电脑 点播过 因此为1
(integer) 0
127.0.0.1:6379> setbit 20201229 4 1
(integer) 0
127.0.0.1:6379> setbit 20201229 8 1
(integer) 0
127.0.0.1:6379> setbit 20201230 0 1
(integer) 0
127.0.0.1:6379> setbit 20201230 5 1
(integer) 0
127.0.0.1:6379> setbit 20201230 8 1
(integer) 0
127.0.0.1:6379> bitcount 20201229
(integer) 3
127.0.0.1:6379> bitcount 20201230
(integer) 3
127.0.0.1:6379> setbit 20201229 6 1	
(integer) 0
127.0.0.1:6379> bitcount 20201229
(integer) 4

127.0.0.1:6379> bitop or 29-30 20201229 20201230	# 合并
(integer) 2
127.0.0.1:6379> bitcount 29-30	# 就可以查看出有多少电影被点播
(integer) 5
  • redis 应用于信息状态统计

Hyperloglog

Redis 2.8.9版本就更新了Hyperloglog数据结构

Redis Hyperloglog 基数统计的算法

  • 优点：占用的内存是固定，2^64 不同的元素的基数，只需要费12kb内存 。如果要从内存角度来比较的话 Hyperloglog 就是首选

  • 网页的UV（一个人访问一个网站多次，但是还是算作一个人）

  • 传统的方式，set保存用户的id，然后就可以统计set中元素数量作为标准判断！这个方式如果保存大量的用户id,就会比较麻烦，我们的目的是为了计数，而不是保存用户id

基数

  • 基数是数据集去重后元素个数
  • HyperLogLog 是用来做基数统计的，运用了LogLog的算法

在这里插入图片描述

HyperLogLog类型的基本操作

  • 添加数据

    pfadd key element [element …]

  • 统计数据

    pfcount key [key …]

  • 合并数据

    pfmerge destkey sourcekey [sourcekey…]

127.0.0.1:6379> pfadd mykey a b c d e f g h i j		# 创建第一组元素 mykey
(integer) 1
127.0.0.1:6379> pfcount mykey	# 统计mykey中元素的基数数量
(integer) 10
127.0.0.1:6379> pfadd mykey2 i j z x c v b n a m	# 创建第二组元素 mykey2
(integer) 1
127.0.0.1:6379> pfcount mykey2
(integer) 10
127.0.0.1:6379> pfmerge mykey3 mykey mykey2		# 合并两组 mykey mykey2 => mykey3 并集
OK
127.0.0.1:6379> pfcount mykey3	# 查看并集的数量!
(integer) 15

如果允许容错，那么一定可以使用Hyperloglog！

如果不允许容错 ，就使用set或者自己的数据类型即可！

相关说明

  • 用于进行基数统计，不是集合，不保存数据，只记录数量而不是具体数据
  • 核心是基数估算算法，最终数值存在一定误差
  • 误差范围：基数估计的结果是一个带有 0.81% 标准错误的近似值
  • 耗空间极小，每个hyperloglog key占用了12K的内存用于标记基数
  • pfadd命令不是一次性分配12K内存使用，会随着基数的增加内存逐渐增大
  • Pfmerge命令合并后占用的存储空间为12K，无论合并之前数据量多少

Geospatial

Geospatial 地理位置

朋友的定位，附近的人，打车距离计算，但是计算出来的位置只算水平距离，不算垂直距离

Redis的Geo在Redis3.2版本就推出了！这功能可以推算地理位置的信息，两地之间的距离，方圆几里的人

GEO类型的基本操作

  • 添加坐标点

    geoadd key longitude latitude member [longitude latitude member …]

  • 获取坐标点

    geopos key member [member …]

  • 计算坐标点距离

    geodist key member1 member2 [unit]

  • 根据坐标点求范围内的数据

    georadius key longitude latitude radius m|km|ft|mi [withcoord] [withdist] [withhash] [count count]

  • 根据点求范围内数据

    georadiusbymember key member radius m|km|ft|mi [withcoord] [withdist] [withhash] [count count]

  • 获取指定点对应的坐标hash值

    geohash key member [member …]

geoadd 添加地理位置
规则：两极无法直接添加，我们一般会下载城市数据，直接通过java程序一次性导入!
参数 key 值（经度，纬度，名称）
有效的经度从-180度到180度
有效的维度从-85.05112878度到85.05112878度

127.0.0.1:6379> geoadd china:city 116.40 39.90 beijing
(integer) 1
127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai
(integer) 1
127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqin
(integer) 1
127.0.0.1:6379> geoadd china:city 120.16 30.24 hangzhou 114.05 22.52 shengzhen 108.96 34.26 xian
(integer) 3

geopos 获得当前定位：一定是一个坐标值
获取指定城市的经度和纬度

127.0.0.1:6379> geopos china:city beijing chongqin xian shengzhen
1) 1) "116.39999896287918091"
   2) "39.90000009167092543"
2) 1) "106.49999767541885376"
   2) "29.52999957900659211"
3) 1) "108.96000176668167114"
   2) "34.25999964418929977"
4) 1) "114.04999762773513794"
   2) "22.5200000879503861"
   
geodist
两人之间的距离
单位：
m 表示单位为米。
km 表示单位为千米。
mi 表示单位为英里。
ft 表示单位为英尺。

127.0.0.1:6379> geodist china:city beijing shanghai	# 查看北京到上海的直线距离
"1067378.7564"
127.0.0.1:6379> geodist china:city beijing shanghai km
"1067.3788"
127.0.0.1:6379> geodist china:city beijing chongqin km
"1464.0708"
127.0.0.1:6379> geodist china:city beijing xian km
"910.0565"

georadius 以给定的经纬度为中心， 找出某一半径内的元素
我附近的人(获取所有附近的人的地址 定位)通过半径来查询
所有的数据都应该录入：china:city 才会让结果更加清晰

127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km	# 以110 30这个经纬度为中心寻找方圆1000km内的城市
1) "chongqin"
2) "xian"
3) "shengzhen"
4) "hangzhou"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km
1) "chongqin"
2) "xian"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withcoord # 显示他人的定位信息
1) 1) "chongqin"
   2) 1) "106.49999767541885376"
      2) "29.52999957900659211"
2) 1) "xian"
   2) 1) "108.96000176668167114"
      2) "34.25999964418929977"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist	# 显示到中心距离的位置
1) 1) "chongqin"
   2) "341.9374"
2) 1) "xian"
   2) "483.8340"
   
# 筛选出指定的的结果
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist withcoord count 1
1) 1) "chongqin"
   2) "341.9374"
   3) 1) "106.49999767541885376"
      2) "29.52999957900659211"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist withcoord count 2
1) 1) "chongqin"
   2) "341.9374"
   3) 1) "106.49999767541885376"
      2) "29.52999957900659211"
2) 1) "xian"
   2) "483.8340"
   3) 1) "108.96000176668167114"
      2) "34.25999964418929977"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist withcoord count 3
1) 1) "chongqin"
   2) "341.9374"
   3) 1) "106.49999767541885376"
      2) "29.52999957900659211"
2) 1) "xian"
   2) "483.8340"
   3) 1) "108.96000176668167114"
      2) "34.25999964418929977"


GEORADIUSBYMEMBER
找出位于指定元素周围的其他元素

127.0.0.1:6379> GEORADIUSBYMEMBER china:city beijing 1000 km
1) "beijing"
2) "xian"
127.0.0.1:6379> GEORADIUSBYMEMBER china:city shanghai 200 km
1) "hangzhou"
2) "shanghai"

GEOHASH 
返回一个或多个位置元素的 Geohash 
将二维的经纬度转换为一维的字符串，如果两个字符串越接近，那么则距离越近

127.0.0.1:6379> geohash china:city beijing chongqin
1) "wx4fbxxfke0"
2) "wm5xzrybty0"

GEO底层的实现原理其实就是Zset 我们可以使用Zset命令来操作geo
zrem移除

127.0.0.1:6379> zrange china:city 0 -1	# 查看地图中全部的元素
1) "chongqin"
2) "xian"
3) "shengzhen"
4) "hangzhou"
5) "shanghai"
6) "beijing"

127.0.0.1:6379> zrem china:city beijing	# 移除指定的元素
(integer) 1
stan Z
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
80.redis：三种特殊数据类型：Geospatial，Hyperloglog，Bitmaps
鹏哥哥Aaa
03-25 148
redis的三种特殊数据类型：Geospatial，Hyperloglog，Bitmaps
redis6.0.9.rar
11-27
Windows下可直接执行版本 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘
全国经纬度大全
范天缘的博客
05-24 3万+
北京市 116.4 39.9 天津市 117.2 39.12 河北省 石家庄市 114.52 38.05 河北省 唐山市 118.2 39.63 河北省 秦皇岛市 119.6 39.93 河北省 邯郸市 114.48 36.62 河北省 邢台市 114.48 37.07 河北省 保定市 115.47 38.87 河北省 张家口市 114.88 40.82 河北省 承德市 117.93 40.97 河北省 沧州市 116.83 38.3 河北省 廊坊市 116.7 39.52 河北省 衡水市
Redis的特殊类型
菜菜的博客
03-15 804
Redis的特殊类型
六、Redis新类型bitmap-hyperloglgo-GEO
小薛博客助力人人成为架构师
12-10 418
六、Redis新类型bitmap-hyperloglgo-GEO1、统计1、统计的类型有哪些？1、聚合统计2、排序统计3、二值统计4、基数统计2、bitmap1、简介2、基本命令1、setbit示例2、getbit示例3、bitcount4、bitop示例3 、Bitmaps与set对比4、实际案例1、京东签到领取京豆1、小厂方法，传统mysql方式2、大厂方法，基于Redis的Bitmaps实现签到日历 -- 建表-按位-redis bitmap3、setbit和getbit案例说明按照天按照年4、bit
Redis三大特殊类型介绍：GEO,hyperloglog,bitmap，Redis事务
qdwd888的博客
04-19 333
缺点：有一定的错误率，使用时需要允许有一定的容错性 常用命令： pfadd:增加一个hyperloglog类型的key-value(集合) pfcount:统计一个集合中不重复元素的个数 pfmerge:合并两个或多个集合 127.0.0.1:6379> flushdb # 演示需要，清空当前库 OK 127.0.0.1:6379> pfadd hyper1 a s d f g h j k l a # 创建一个hyperloglog类型，存入元素， (integer) 1 1
Redis三种特殊数据类型之geospatial、Hyperloglog、Bitmaps
fanzhe的博客
12-23 459
三种特殊数据类型 geospatial 地理位置 可以干什么 朋友的定位、附近的人、打车距离计算
Redis6新增的数据类型Bitmaps + HyperLogLog + Geospatial
7zwang的博客
09-11 144
--记Redis6新增了3种数据类型
【Redis】Redis中的五种数据结构及位图、HyperLogLog、GEO等
your_棒棒糖的博客
04-14 336
Redis redis API 通用命令 keys ​ 计算数据库所有的键 时间复杂度O(n)【一般在生产环境中使用】 > keys * #遍历所有key > > ```mysql > 127.0.0.1:6379 > set hello word > 127.0.0.1:6379 > set java good > 127.0.0.1:6379 > set php best > 127.0.0.1:6379 > keys
Redis中的三种特殊数据类型，geospatial类型，Hyperloglog类型和Bitmaps类型
xzy的博客
02-27 822
文章目录Redis中的三种特殊数据类型，geospatial类型，Hyperloglog类型和Bitmaps类型geospatial类型查询城市经纬度的网址geoadd 命令geopos命令geodist命令georadius命令georadiusbymember命令geohash命令geospatial类型的底层封装Hyperloglog类型Hyperloglog的使用场景Hyperloglog类型的常用命令PFadd命令和PFcount命令和PFmerge命令Bitmaps类型Bitmaps的应用场景B
redis单机配置文档
01-20
它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。...
Redis-x64-3.2.100的安装版java可用
最新发布
01-04
它支持多种类型的数据结构，如字符串（strings）、散列（hashes）、列表（lists）、集合（sets）、有序集合（sorted sets）、位图（bitmaps）、超日志（hyperloglogs）、地理空间（geospatial）索引半径查询以及流...
Redis windows 5.0.10
11-23
它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。
Redis软件redis系统
06-15
它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。...
Redis——Redis 哨兵模式
热门推荐
Cantevenl的博客
04-19 3万+
Redis 哨兵模式哨兵模式的简介哨兵的作用启用哨兵模式配置哨兵启动哨兵哨兵模式的工作原理阶段一：监控阶段阶段二：通知阶段阶段三：故障转移阶段发现故障选出领头sentinel挑选备选master主从切换总结 哨兵模式的简介 主从切换技术的方法是︰当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel (哨兵）架构来解决这个问题。 哨兵(se
Redis——Redis主从复制（工作流程详解）
Cantevenl的博客
04-19 2万+
Redis主从复制主从复制简介主从复制的概念主从复制的作用主从复制工作流程阶段一：建立连接阶段主从连接（slave连接master）第一种方式第二种方式第三种方式授权访问阶段二：数据同步阶段工作流程数据同步阶段master说明数据同步阶段slave说明阶段三：命令传播阶段命令传播阶段的部分复制服务器的运行 id复制缓冲区复制缓冲区内部工作原理复制缓冲区主从服务器复制偏移量（offset）数据同步+命令传播阶段工作流程心跳机制心跳阶段注意事项主从复制常见问题引发频繁的全量复制1引发频繁的全量复制2频繁的网络中
Redis——Redis 集群cluster
Cantevenl的博客
04-19 7932
Redis 集群cluster集群简介集群作用Redis集群结构设计数据存储设计集群内部通讯设计cluster集群结构搭建主从下线和主从切换 集群简介 集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果 集群作用 分散单台服务器的访问压力，实现负载均衡 分散单台服务器的存储压力，实现可扩展性 降低单台服务器宕机带来的业务灾难 Redis集群结构设计 数据存储设计 通过算法设计，计算出key应该保存的位置 将所有的存储空间计划切割成16384份，每台主机保存一部
Redis——Redis五大数据类型——list，set和sorted_set（及应用场景）
Cantevenl的博客
04-16 3570
五大数据类型——list，set和sorted_setlistlist 类型数据基本操作list 类型数据扩展操作list 类型数据操作注意事项list 类型应用场景setsorted_set list 数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分 需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序 list类型：保存多个数据，底层使用双向链表存储结构实现 顺序表 查询数据的速度很快，但是从头到尾顺序不能变，想要从中间插入一个数据则很慢，增删操作慢 链表 则插入和
Redis——Redis五大数据类型——string和hash（及应用场景）
Cantevenl的博客
04-15 3196
Redis五大数据类型一级目录二级目录三级目录 一级目录 二级目录 三级目录
Redis的另外三种数据类型Geospatial
07-14
Redis中除了常见的字符串、列表、哈希表和集合数据类型外，还提供了一种特殊的数据类型用于处理地理空间数据，称为Geospatial数据类型。这种数据类型可以用于存储地理位置信息和进行地理位置相关的计算。 在Redis中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值