redis 5.value类型 Bitmaps(位操作，一般用于统计UV) HyperLogLog(一般用于解决基数问题) Geospatial(一般用于地理信息经纬度计算)

已于 2022-04-13 20:01:06 修改
阅读量6.4w 收藏 1
点赞数 1
分类专栏： redis 文章标签： redis
于 2022-04-06 05:53:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javahelpyou/article/details/123978877
版权

文章目录

一 Bitmaps

1.1 简介

  现代计算机用二进制（位） 作为信息的基础单位， 1个字节等于8位

如：
“abc”字符串：
在这里插入图片描述

  合理地使用操作位能有效地提高内存使用率，Redis提供了Bitmaps实现对位的操作：
（1）Bitmaps本身不是一种数据类型， 实际上它就是String 类型对位进行操作。
（2）Bitmaps单独提供了一套命令， 可以把Bitmaps想象成一个以位为单位的数组， 数组的每个单元只能存储0和1， 数组的下标在Bitmaps中叫做偏移量。

1.2 常用命令

(1) setbit 设置Bitmaps中某个偏移量的值（0或1）
setbit <key> <offset> <value>

  某天，每个用户是否访问过网站存放在Bitmaps中， 将访问的用户记做1， 没有访问的用户记做0， 用偏移量（从0算起） 作为用户的id，用于统计网站UV（独立访客数）；

如：
  现在有20个用户，userid=1， 6， 11， 15， 19的用户对网站进行了访问，则Bitmaps结果如图
在这里插入图片描述

unique:users:20220406 代表2022-04-06独立访问用户的Bitmaps：
在这里插入图片描述

注：
  用户id以一个指定数字（如1000000） 开头， 直接将用户id和Bitmaps的偏移量对应势必会造成一定的浪费， 通常的做法是每次做setbit操作时将用户id减去指定数字；

(2) getbit 获取Bitmaps中某个偏移量的值（从0开始算）
getbit <key> <offset>

如：
  获取id=8的用户是否在2022-04-06这天访问过， 返回0说明没有访问过：
在这里插入图片描述

(3) bitcount 统计从start byte(不是bit 偏移量)到end byte中 bit为1的数量
bitcount <key>  [start end]

  统计被设置为1的bit数。一般情况下，统计字符串中所有的bit，可通过指定额外的 start 或 end 参数，让计数只在特定的范围进行；

  start 和 end 参数的设置，可使用负数值；start、end 指bit组的字节的下标数，二者皆包含；
注意：redis的setbit设置或清除的是bit位置，而bitcount中start end是byte位置

如：
计算2022-04-06这天的独立访问用户数量：
在这里插入图片描述

如：
在这里插入图片描述
字符串"ab"用bit表示如下：

在这里插入图片描述
查看mybitkey中1的个数：
在这里插入图片描述
查看start为0，end为0中1的个数
在这里插入图片描述
查看start为1，end为1中1的个数

在这里插入图片描述

(4) bitop 对一个或多个保存二进制位的字符串 key 进行位元操作
bitop  and(or/not/xor) <destkey> [key…]

  多个Bitmaps的and（交集） 、 or（并集） 、 not（非） 、 xor（异或） 操作并将结果保存在destkey中

如：
2022-04-06 日访问网站的userid=1,2,5,9

setbit unique:users:2022-04-06 1 1
setbit unique:users:2022-04-06 2 1
setbit unique:users:2022-04-06 5 1
setbit unique:users:2022-04-06 9 1

2022-04-07 日访问网站的userid=0,1,4,9

setbit unique:users:2022-04-07 0 1
setbit unique:users:2022-04-07 1 1
setbit unique:users:2022-04-07 4 1
setbit unique:users:2022-04-07 9 1

2022-04-08 日访问网站的userid=0,1,4,10

setbit unique:users:2022-04-08 0 1
setbit unique:users:2022-04-08 1 1
setbit unique:users:2022-04-08 4 1
setbit unique:users:2022-04-08 10 1

  计算出三天都访问过网站的用户数量,使用and求并集

bitop and result_2022_04_and unique:users:2022-04-06  unique:users:2022-04-07 unique:users:2022-04-08

在这里插入图片描述

  计算出任意一天访问过网站的用户数量（月活跃） ， 使用or求并集

bitop or result_2022_04 unique:users:2022-04-06  unique:users:2022-04-07 unique:users:2022-04-08

在这里插入图片描述

1.3 Bitmaps与set对比

  假设网站有1亿用户， 每天独立访问的用户有5千万
set和Bitmaps存储一天活跃用户对比：

数据类型每个用户id占用空间需要存储的用户量全部内存量
集合类型64位5000000064位*50000000 = 400MB
Bitmaps1位1000000001位*100000000 = 12.5MB

  这种情况下使用Bitmaps能节省很多的内存空间
  但 假如网站每天的独立访问用户很少， 例如只有10万（大量的僵尸用户） ， 那么使用Bitmaps就不合适了

数据类型每个用户id占用空间需要存储的用户量全部内存量
集合类型64位10000064位*100000 = 800KB
Bitmaps1位1000000001位*100000000 = 12.5MB

二.HyperLogLog

2.1 简介

  如统计网站PV（PageView页面访问量）,可使用Redis的incr、incrby轻松实现。但UV（UniqueVisitor，独立访客）、独立IP数等需要去重和计数的问题如何解决？这类问题被称为基数问题。

什么是基数?
  比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}。 基数估计就是在误差可接受的范围内，快速计算基数。

解决基数问题的方案：
（1）数据存储在MySQL表中，使用distinct count计算不重复个数；
（2）使用Redis提供的set、bitmaps数据结构处理；
以上的方案随着数据的增加，占用空间越来越大，对于非常大的数据集是不切实际的。

  Redis推出了HyperLogLog,降低一定的精度平衡存储空间
  在 Redis 中，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。
  但是因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能返回输入的各个元素。

2.2 常用命令

(1) pfadd 添加指定元素到 HyperLogLog 中
pfadd <key>< element> [element ...]

  将所有元素添加到指定HyperLogLog数据结构中。如果执行命令后近似基数发生变化，则返回1，否则返回0
在这里插入图片描述

(2) pfcount 计算HLL的近似基数，可以计算多个HLL
pfcount<key> [key ...]

如：
用HLL存储每天的UV，计算一周的UV可以使用7天的UV合并计算即可
在这里插入图片描述

(3) pfmerge 将一个或多个HLL合并后的结果存储在另一个HLL中
pfmerge <destkey> <sourcekey> [sourcekey ...]

比如每月活跃用户可以使用每天的活跃用户来合并计算可得

在这里插入图片描述

三 Geospatial

3.1 简介

  Redis 3.2 中增加了对GEO类型的支持。
  GEO，Geographic，地理信息的缩写，即元素的2维坐标，在地图上就是经纬度。redis基于Geospatial，提供了经纬度设置，范围查询，距离查询，经纬度Hash等常见操作。

3.2 常用命令

(1) geoadd 添加地理位置（经度，纬度，名称）
geoadd <key>  <longitude> <latitude> <member> [longitude latitude member...]

如:

geoadd china:city 121.47 31.23 shanghai
geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 116.38 39.90 beijing

在这里插入图片描述

  两极无法直接添加，一般会下载城市数据，直接通过 Java 程序一次性导入。

  有效的经度从 -180 度到 180 度。有效的纬度从 -85.05112878 度到 85.05112878 度。当坐标位置超出指定范围时，该命令将会返回一个错误。
在这里插入图片描述

(2) geopos 获得指定地区的坐标值
geopos  <key><member> [member...]

在这里插入图片描述

(3) geodist 获取两个位置之间的直线距离
geodist<key><member1><member2>  [m|km|ft|mi ]

如：
  获取两个位置之间的直线距离

单位：
  m 表示单位为米[默认值]。
  km 表示单位为千米。
  mi 表示单位为英里。
  ft 表示单位为英尺。
  如果用户没有显式地指定单位参数， 那么 GEODIST 默认使用米作为单位
在这里插入图片描述

(4) georadius 以给定的经纬度为中心，找出某一半径内的元素
georadius <key> < longitude> <latitude>radius  m|km|ft|mi

在这里插入图片描述

但行益事莫问前程
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
redis中bitmaps使用介绍
zhang197093的博客
06-06 1994
redis中有两个主要用于统计的数据结构bitmaps和hyperloglogs。 bitmaps： 下面是官网对于bitmaps介绍的中文翻译 Bitmaps are not an actual data type, but a set of bit-oriented operations defined on the String type. Since strings are
Redis新数据类型(1)-Bitmaps
爪哇人的博客
01-30 682
目录 1 前言 2 操作命令 ​3 Bitmap和Set对比 1 前言 Redis提供了Bitmaps这个“数据类型”，可以实现对应的位操作： 1）Bitmaps本身不是一种数据类型，实际上它就是字符串(key-value),但是它可以对字符串进行位操作 2）Bitmaps单独提供了一套命令，所以在redis命令中使用Bitmaps和使用字符串的方法不太相同。可以将Bitmaps想向成一个以位为单位的数组，数组的每个单位只能存储0和1，数组的下标在Bitmaps中叫作偏移量 2 操作命.
Redis 根据value 进行查询
m0_54849873的博客
04-22 5865
redis 根据value 进行查询 redis是一个key-value存储器，本身并没有提供相关根据value来进行模糊查询的方法，以下是在redis提供方法的基础上进行操作的，虽然效率低下，但是也总比没有的好。如果同仁们有更好的办法，请多多指教，沟通交流以便我以及跟我一样学习阶段的小白更快成长，感激不尽！ 接下来是方法了： /———————————————————————————————–/ SADD SADD key member [member …] 将一个或多个member元素加入到集合key当
Redis的VALUE类型
qq_40223516的博客
05-07 2891
Redis自我学习 文章目录Redis简介redis安装步骤value类型redis的string类型 Redis简介 继续往后推进，最近在学习redis的基本数据结构，首先在磁盘中的寻址空间为ms级别，而在内存中为ns级别，所以磁盘比内存在寻址上满了10W倍，也就是为什么mysql关系型数据库比NOSQL查询数据慢的原因之一。在MYSQL中，数据和索引都存储在硬盘中，真正查的时候要在内存中准备一个B+树（树干），把磁盘读到内存，再返回磁盘，再往下一级读进内存，最终找到记录。最终目的减少IO。 但是随着数
Redis中统计各种数据大小的方法
weixin_34148508的博客
02-19 641
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/125.html?1455853369如果 MySQL 数据库比较大的话，我们很容易就能查出是哪些表占用的空间；不过如果 Redis 内存比较大的话，我们就不太容易查出是哪些（种）键占用的空间了。有一些工具能够提供必要的帮助，比如redis-rdb-t...
redis类型操作共16页.pdf.zip
10-30
redis类型操作共16页.pdf.zip
Redis专项进阶课 解决Redis工作实际问题+掌握Redis6.x特性-附件资源
03-05
Redis专项进阶课 解决Redis工作实际问题+掌握Redis6.x特性-附件资源
Redis 7.0.4 x64位 windows 系统 安装包 Redis7.0.4.zip
09-07
注意是windows 64位系统才可使用，不支持windows 32位系统使用 已经在Win10，Win11，Windows server 2012系统测试运行可用 使用步骤注意事项： 一、修改Redis的持久化数据库文件dump.rdb保存路径，绝对路径的方式...
Redis：Bitmaps使用场景-用户签到、统计活跃用户、用户在线状态
z69183787的专栏
02-15 1067
setbit命令： 语法：setbit key offset value 对key所存储的字符串值,设置或清除指定偏移量上的位(bit). 位的设置或者清除取决于value参数,可以是0也可以是1. 当key不存在的时候,自动生成一个新的字符串. 字符串会进行伸展以确保它可以将value保存在指定的偏移量上。当字符串上的值进行伸展的时候, 空白位置以0填充 offset 参数必须大于或者等于0 小...
优云运维：漫谈redis在运维数据分析中的去重统计方式
weixin_34211761的博客
07-01 175
今天，我和大家分享下redis在运维数据分析中的去重统计方式。为了避免混淆，本文中对于redis的数据结构做如下约定： SET：saddkey member ZSET：zaddkeyscoremember HYPERLOGLOG:pfaddkeyelement STRING:setbitkeyoffset value 名词约定： 维度：比如版本、操...
查看redis的Value值大小
热门推荐
通往精英的成长之路
07-29 4万+
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan 【前言】 最近项目一个需求，需要借助于redis缓存来实现，发现需要存的value值有些大；究竟有多大那？？？伴随这个疑问，开始一场探索之旅。 【探索value值大小】 一、安装redis-rdb-tools（项目地址：github） ...
如何统计Redis中各种数据的大小
cardinalzbk的专栏
01-25 4061
如果 MySQL 数据库比较大的话，我们很容易就能查出是哪些表占用的空间；不过如果 Redis 内存比较大的话，我们就不太容易查出是哪些(种)键占用的空间了。    有一些工具能够提供必要的帮助，比如 redis-rdb-tools 可以直接分析 RDB 文件来生成报告，可惜它不能百分百实现我的需求，而我也不想在它的基础上二次开发。实际上开发一个专用工具非常简单，利用 SCAN 和 DEBU
Redis6篇 （三）Redis新数据类型
cV展示的学习园
08-16 787
五、Redis新数据类型 5.1 Bitmaps 5.1.1 简介 现代计算机用二进制（位） 作为信息的基础单位， 1个字节等于8位， 例如“abc”字符串是由3个字节组成， 但实际在计算机存储时将其用二进制表示， “abc”分别对应的ASCII码分别是97、 98、 99， 对应的二进制分别是01100001、 01100010和01100011，如下图 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oWXtJKO0-1629090717719)(Redis6.asse
redis数据统计
yangzhengqui的专栏
02-02 3468
Redis的集合类型的特点是一个键对应一系列值，非常适合用来存取统计的数据，比如： 每天的新增用户数和第二天的留存用户数； 统计评论列表的最新评论； 一个月内连续打卡的用户数； UV量； 先了解一下常用的集合统计模式： 聚合统计，排序统计，二值状态统计，基数统计 聚合统计 聚合统计是指统计多个集合元素的聚合结果。包括：交集统计，差集统计，并集统计。 Set类型非常适合用来做聚合统计。 SINTER key [key ...] #返回指定所有的集合的成员的交集.时间复杂度O(N*M) SUNION key [
redis--09--操作--Bitmaps
zhou920786312的博客
02-14 347
redis–09–操作–Bitmaps 1、简介 Bitmaps可以实现对位的操作(1位=8字节) Bitmaps本身不是一种数据类型， 实际上它就是字符串(key-value)， 但是它可以对字符串value的位进行操作。可以把Bitmaps想象成一个以位为单位的数组， 数组的每个单元只能存储0和1， 数组的下标在Bitmaps中叫做偏移量。 2、Bitmaps与set对比 假设网站有1亿用户， 每天独立访问的用户有5千万， 如果每天用集合类型和Bitmaps分别存储活跃用户可以得到表 set和B
用Redis bitmap统计活跃用户、留存
weixin_30631587的博客
06-27 1000
Spool的开发者博客，描述了Spool利用Redis的bitmaps相关的操作，进行网站活跃用户统计工作。 原文：http://blog.getspool.com/2011/11/29/fast-easy-realtime-metrics-using-redis-bitmaps/ 　　Redis支持对String类型的value进行基于二进制位的置位...
使用 Redis - Bitmaps 进行快速、简单、实时统计
爱与不爱，一念之间
03-08 834
一、Bitmaps Redis提供的Bitmaps这个“数据结构”可以实现对位的操作。Bitmaps本身不是一种数据结构，实际上就是字符串，但是它可以对字符串的位进行操作。 可以把Bitmaps想象成一个以位为单位数组，数组中的每个单元只能存0或者1，数组的下标在bitmaps中叫做偏移量。单个bitmaps的最大长度是512MB，即2^32个比特位。 位数组的顺序和平时书写的顺序时完全相反的，...
Redis学习笔记
lxh_____的博客
11-11 855
一. Redis简介 Redis是Nosql数据库之一，是一个开源的、使用C语言编写的、可基于内存也能持久化存储的Key-Value数据库。 Redis具备以下特性： 运行在内存，减少IO操作，性能高效 支持多种数据类型（也就是Value的类型） Redis的应用场景： 分布式架构场景，做session共享；ps：session共享的一般解决方案：1. session（例如用户信息）存储到客户端cookie中，每次请求带着用户信息。2. session复制，将一个服务器中session信息复
Redis的hyperloglog
散步的博客
05-19 324
互联网名词： 什么是UV？ Unique Visitor，独立访客，一般理解为客户端IP，需要去重考虑 什么是PV？ Page View，页面浏览量，不用去重 什么是DAU？ Daily Active User 日活跃用户量 登录或者使用了某个产品的用户数(去重复登录的用户) 常用于反映网站、互联网应用或者网络游戏的运营情况 什么是MAU？ MonthIy Active User 月活跃用户量 看需求： 统计某个网站的UV、统计某个文章的UV 用户搜索网站关键词的数量 统计用户每天搜索不同词条
1.Redis 的数据类型有哪些？分别用于什么场景？
最新发布
06-01
Redis支持以下八种数据类型： 1. String（字符串） - 用于存储字符串、整数或二进制数据，最大能存储512MB。 - 常用于缓存、计数、限速、分布式锁等场景。 2. Hash（哈希） - 用于存储键值对集合，其中的键和值都是字符串类型。 - 常用于存储对象、用户属性、购物车等场景。 3. List（列表） - 用于存储有序的字符串元素列表。 - 常用于消息队列、任务队列、最新列表等场景。 4. Set（集合） - 用于存储无序的字符串元素集合，每个元素都是唯一的。 - 常用于标签、好友关系、共同关注等场景。 5. Sorted Set（有序集合） - 用于存储有序的字符串元素集合，每个元素都有一个分数值，根据分数值排序。 - 常用于排行榜、热门列表、范围查询等场景。 6. HyperLogLog - 用于基数统计，即统计不重复元素的个数。 - 常用于UV（独立访客）统计、近似计数等场景。 7. Bitmaps - 用于位运算，可以高效地存储和操作二进制位数据。 - 常用于在线状态、签到、活跃用户等场景。 8. Geospatial（地理位置） - 用于存储地理位置信息和坐标。 - 常用于位置查询、附近的人、附近的店等场景。 以上八种数据类型在Redis中各有特点和用途，可以根据不同的需求选择合适的数据类型来存储和操作数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值