5redis-----------redis高级--GEO-查询附近的人、基数统计算法HLL 、布隆过滤器、缓存雪崩&穿透&击穿-------全栈式开发44

最新推荐文章于 2023-01-11 16:12:56 发布
最新推荐文章于 2023-01-11 16:12:56 发布
阅读量330 收藏
点赞数
分类专栏： web全栈开发知识 数据库 文章标签： redis nosql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43761516/article/details/118135972
版权
本文介绍了Redis的高级特性，包括GEO查询附近的人，基数统计算法-HyperLogLog，以及布隆过滤器的原理和应用。GEO用于存储和查询地理位置信息，HyperLogLog则用于高效地统计基数，而布隆过滤器用于判断元素是否存在，有效防止缓存穿透。此外，还讨论了缓存雪崩、缓存穿透和缓存击穿的问题及其解决方案。
摘要由CSDN通过智能技术生成

redis高级

一、GEO查询附近的人

引入

  • 我们所处的任何位置都可以用经纬度和维度拉标识，经度的范围 -180°到 180°，维度的范围为 -90° 到 90°。维度以赤道为界。赤道以南为负数，赤道以北为整数；经度以本初子午线（英国格林尼治天文台）为界，东边为正数，西边为负数。
  • Redis 在 3.2 版本中增加了 GEO 类型用于存储和查询地理位置，关于 GEO 的命令不多，主要包含以下6个：
命令说明语法
geoadd添加地理位置geoadd key longitude latitude member
geopos查询位置信息，可看多个geopos key member [member…]
geodist距离统计geodist key member1 member2 [unit]
georadius查询某位置内的其他成员信息geoadius key longitude latitude radius unit [WITHCOORD][WITHDIST] [COUNT [ASC/DESC]
geohash查询位置的哈希值，可以查多个geohash key member [member …]
zrem删除地理位置，可以删多个zrem key member [member …]

重点参数说明如下：

  • longitude 表示经度
  • latitude 表示纬度
  • member 是为此经纬度起的名字 此命令支持一次添加一个或多个位置信息。
  • unit：统计单位
  • 1.WITHCOORD：返回满足条件位置的经纬度信息。
    2.WITHHDIST：返回满足条件位置与查询位置的直线距离。
    3.COUNT：指定返回满足条件位置的个数。
    4.[ASC/DESC]：从近到远 | 从远到近排序返回。

基础使用

  • 添加地理位置
    • 我们先用百度地图提供的经纬度查询工具，地址：http://api.map.baidu.com/lbsapi/getpoint/index.html
    • 找了以下4个地点，添加到 Redis 中
      天安门：116.404269,39.913164
      月坛公园：116.36,39.922461
      北京欢乐谷：116.499705,39.874635
      香山公园：116.193275,39.996348
      geoadd site 16.404269  39.913164 tiananmen
geoadd site 116.36 39.922461 yuetan
geoadd site 116.499705 39.874635 huanle
geoadd site 116.193275 39.996348 xiangshan
  • 查询位置信息
    • geopos site tiananmen
  • 距离统计
    • geodist site tianan yuetan km
    • https://www.hhlink.com/经纬度（经纬度计算距离）校验结果
  • 查询某位置内的其他成员信息
    • georadius site 116.405419 39.913164 5 km
    • 此命令的意思是查询天安门（116.405419,39.913164）附近5公里范围内的成员列表。
  • 查询哈希值
    • geohash site tiananmen
  • 删除地理位置
    • zrem site xiaoming

应用场景

  • 查询附近的人、附近的地点等；
  • 计算相关的距离信息。

小结

  • GEO 是 Redis 3.2 版本中新增的功能，只有升级到 3.2+ 才能使用，GEO 本质上是基于 ZSet 实现的，这点在 Redis 源码找到相关信息，我们可以 GEO 使用实现查找附近的人 或者附近的地点，还可以用它来计算两个位置相隔的直线距离。

二、基数统计算法-HyperLogLog

基数为什么要使用 HyperLogLog?

  • 在我们实际开发的过程中，可能会遇到这样一个问题，当我们需要统计一个大型网站的独立访问次数时，该用什么什么的类型来统计？
  • 如果我们使用 Redis 中的集合来统计，当它每天有数千万级别的访问时，将会是一个巨大的问题。因为这些访问量不能被清空，我们运营人员可能会随时查看这些信息，那么随着时间的推移，这些统计数据所占用的空间会越来越大，逐渐超出我们能承受最大空间。
  • 例如，我们用 IP 来作为独立访问的判断依据，那么我们就要把每个独立 IP 进行存储，以 IP4 来计算，IP4最对需要 15 个字节来存储信息，例如：
    110.110.110.110。当有一千万独立 IP 时，所占用的空间就是 15 bit*10000000 约等于 143 MB，但这只是一个页面的统计信息，假如我们有1千万个个这样的页面，那么我们需要 1T 以上的空间来存储这些数据，而且随着 IP6 的普及，这个存储数字会越来越大，那我们就不能用集合的方式来存储了，这个时候我们需要开发新的数据类型 HyperLogLog 来做这件事了。

HyperLogLog 介绍

  • 集合保存数据，会去重，无序
  • HyperLogLog （下文简称HLL）是 Redis 2.8.9 版本添加的数据结构，它用于高性能的基数（去重）统计功能，它的缺点就是存在极低的误差率。

HLL 特点：

  • 能够使用极少的内存来统计巨量的数据，它只需要12 k 空间就能统计 2^64 的数据；
  • 统计存在一定的误差，误差率整体较低，标准误差为 0.81%；
  • 误差可以被设置辅助计算因子进行降低。

基础使用

命令说明使用
pfadd添加元素，支持添加一个或多个元素至HLL结构中pfadd key element [element …]
pfcount统计不重复的元素，支持一个或多个 HLL 结构。pfcount key [key…]
pfmerge合并一个或多个 HLL 至新结构，如果已经存在新key会覆盖pfmerge 新key 旧key [旧key…]

三、布隆过滤器

定义

  • 我们前面有讲到过 HyperLogLog 可以用来做基数统计，但它没提供判断一个值是否存在的查询方法，那我们如何才能查询一个值是否存在于海量数据之中呢？
  • 如果使用传递的方式，例如 SQL 中的传统查询，因为数据量太多，查询效率又低有占用系统的资源2，因此我们需要一个优秀的算法和功能来实现这个需求，这是我们今天要讲的——布隆过滤器。
  • 开启布隆过滤器在 Redis 中不能直接使用布隆过滤器，但我们可以通过 Redis 4.0 版本之后提供的 modules （扩展模块）的方式引入，本文提供两种方式的开启方式。

作用

  • 缓存穿透的解决方案

安装使用

	 ```
     linux下载并安装布隆过滤器
	 ```
git clone https://github.com/RedisLabsModules/redisbloom.git
cd redisbloom 
make	 ## 编译，编译正常执行，会在跟目录生成一个 redisbloom.so 文件。
  	 ```
 	 启动 Redis 服务器
 	 ```
 ./src/redis-server redis.conf --loadmodule ./src/modules/RedisBloom-master/redisbloom.so
## 其中–loadmodule 为加载扩展模块的意思，后面跟的是 redisbloom.so 文件的目录。
## 如果有命令提示则表名 Redis 服务器已经开启了布隆过滤器。
命令说明使用
bf.add添加元素bf.add key element
bf.madd添加多个元素bf.madd key element [element…]
bf.exists判断某个元素是否存在，返回1表示存在bf.exists key element
bf.mexists判断多个元素是否存在，返回1表示存在bf.exists key lement [element…]
bf.reserve设置布隆过滤器的错误率，key得是没有创建过的bf.reserve key 错误率 存储元素大小

错误率

  • 该错误是指在判断元素是否存在的时候，如果返回0，则里面一定没有，如果返回1，不一定有
  • 错误率越小，占用的空间就越大，200就是实际存储的值要远大于这个值准确率就会降低

四、缓存雪崩&缓存穿透

（一）缓存雪崩

定义

  • 缓存雪崩是指在短时间内，有大量缓存同时过期，导致大量的请求查询数据库，从而对数据库造成了巨大的压力，严重情况下可能导致数据库宕机的情况叫做缓存雪崩。
    在这里插入图片描述

缓存雪崩解决方案

  • 1.随机化过期时间
    • 为了避免缓存同时过期，可在设置缓存时添加随机时间，这样就可以极大的避免大量的缓存同时失效。
  • 2.加锁排队
    • 加锁排队可以起到缓冲的作用，防止大量的请求同时操作数据库，但它的缺点是增加了系统的响应时间，降低了系统的吞吐，牺牲了一部分用户体验。

（二）缓存穿透

定义

  • 缓存穿透是指查询数据库和缓存都无数据，因为数据库查询无数据，出于容错考虑，不会将结果保存到缓存中，因此每次请求都会查询数据库，这种情况就叫做缓存穿透。
    在这里插入图片描述

缓存穿透解决方案

  • 使用过滤器
    • 我们可以使用过滤器来减少对数据库的请求，例如使用我们前面所学的布隆过滤器。
  • 缓存空结果
    • 另一种方式是我们可以把每次从数据库查询的数据都保存到缓存中，为了提高前台用户的体验（解决长时间内查询不到任何信息的情况），我们可以将空结果的缓存时间设置的短一些，例如 3-5分钟。

（三）缓存击穿

定义

  • 缓存击穿是短时间内大量用户访问一个key，即热点key，当热点key缓存失效的时候，就会有大量请求直接打在数据库上。
    在这里插入图片描述

缓存穿透解决方案

  • 加锁限流
    • 限制访问客流。
  • 设置热点key永不过期
    • 热点key缓存一直存着，要更新的话也是在内部更新，不会过期
洋芋本人
关注
专栏目录
谈谈redis的GEO原理及其算法
weixin_42132854的博客
05-22 1302
GEO相关指令 {"geoadd",geoaddCommand,-5,"wm",0,NULL,1,1,1,0,0}, {"georadius",georadiusCommand,-6,"w",0,georadiusGetKeys,1,1,1,0,0}, {"georadius_ro",georadiusroCommand,-6,"r",0,georadiusGetKeys,1,1,1,0,0}, {"georadiusbymember",georadiusbymemberCommand,-5,"w",0,g
Redis --- 实战篇
shuai_h的博客
07-20 912
Redis缓存
redis查询附近的距离
miaocansky的博客
11-13 345
基础 redis基础知识 redis 位图 geo redis指令地址 基类 <?php namespace App\Helpers\Gps; use Hyperf\Contract\ContainerInterface; use Hyperf\Di\Annotation\Inject; use Hyperf\Utils\ApplicationContext; use \Hyperf\Utils\Coroutine; /** * Class Gps * @package App\commo
布隆过滤器&HyperLogLog
09-08 299
目标都是节省存储空间，结果都是非精准，都有一定的设置误判率或误差率的能力。布隆过滤器核心在于判定是元素是否存在，HLL核心是计数。所以反过来讲，由于地层逻辑的区别，布隆过滤器不能做计数，HLL不能判定元素是否存在。
Redis布隆过滤器, Redis GEO地理位置
youandme520的专栏
02-16 271
Redis布隆过滤器 布隆过滤器（Bloom Filter）是 Redis 4.0 版本提供的新功能，它被作为插件加载到 Redis 服务器中，给 Redis 提供强大的去重功能。相比于 Set 集合的去重功能而言，布隆过滤器在空间上能节省 90% 以上，但是它的不足之处是去重率大约在 99% 左右，也就是说有 1% 左右的误判率，这种误差是由布隆过滤器的自身结构决定的。俗话说“鱼与熊掌不可兼得”，如果想要节省空间，就需要牺牲 1% 的误判率，而且这种误判率，在处理海量数据时，几乎可以忽略。 应用场景
redis布隆过滤器与hyperloglog
m0_65931372的博客
05-27 728
先介绍一下redis扩展 redis扩展 redis 通过对外提供一套 API 和一些数据类型，可以供开发者开发自己的模块并且加载到 redis中。通过API可以直接操作 redis 中的数据，也可以通过调用 redis 命令来操作数据（类似lua script）。通过编写模块可以注册自己的命令到redis中，可以实现事务等功能。 本质是不侵入 redis 源码基础上，提供一种高效的扩展数据结构的方式，也可以用来实现原子操作。 以下是一些接口 // 入口函数，相当于main函数 int RedisModul
redis-配置文件
最新发布
sanqianqingzhi的博客
01-11 692
redis.conf配置详解
Redis笔记&常用指令合集
shisannnn的博客
10-24 1542
1.简介   NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。NoSQL不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。 NoSQL特性 不遵循sql标准 不支持ACID(原子性、一致性、隔离性、持久性） 远超于SQL的性能 NoSQL适用场景 对数据高并发的读写 海量数据的读写 对数据高可扩展性的 NoSQL不适用的场景 需要事务支持 基于sql的结构化查询存储，处理复杂的关系，需要
Redis
weixin_56602847的博客
06-17 192
Redis介绍
Greenplum数据库统计信息——analyze命令
肥叔菌的博客
10-17 854
准备工作流程: 1. 创建anl_context内存上下文，并切换到该内存上下文中 2. 切换到表所有者的userid，以便任何索引函数都作为该用户运行 3. 需要进一步确定要分析一个表中的哪些列：用户可能指定只分析表中的某几个列，被频繁访问的列才更有被分析的价值，然后还要打开待分析表的所有索引，看看是否有可以被分析的。greenplum这里采用的acquire_sample_rows和acquire_inherited_sample_rows是分布式采样函数，而不是普通的采样函数。
Redis Geohash指令与位置服务应用
纸上得来终觉浅，绝知此事要躬行
01-30 2274
目录 0.Redis 命令 增加 距离 获取元素位置 获取元素的 hash 值 附近的公司 1.为什么要GeoHash？ 2 Redis GEO API 2.1 增加地理位置信息 2.2 获取地理位置信息 2.3 获取两个地理位置的距离 2.4 获取指定位置范围的地理信息位置集合 2.5 获取指定元素范围的地理信息位置集合 3 Redis GEO实现附近XXX功能 ...
Redis-基数统计算法-HyperLogLog
zxl1252277960的博客
04-05 341
目录为什么要使用 HyperLogLog？HyperLogLog 介绍HLL 算法原理(了解) 为什么要使用 HyperLogLog？ 在我们实际开发的过程中，可能会遇到这样一个问题，当我们需要统计一个大型网站的独立访问次数时，该用什么的类型来统计？ 如果我们使用 Redis 中的集合来统计，当它每天有数千万级别的访问时，将会是一个巨大的问题。因为这些访问量不能被清空，我们运营人员可能会随时查看这些信息，那么随着时间的推移，这些统计数据所占用的空间会越来越大，逐渐超出我们能承载最大空间。 例如，我们用 IP
Redis bitmap、hyperlog、布隆过滤器、RoaringBitmap原理应用场景与日活的统计的具体应用
S_ZaiJiangHu的博客
07-07 3760
缺点： 1.空间占用大2.统计逻辑复杂，比如统计最近 30 天用户的累计活跃天(每个用户在 30 天里有 N 天使用 app，N 为 1-30，然后将月活跃用户的 N 天加总)？统计最近 7 天的用户累计使用时长？统计最近 30 天有播放的累计用户数？统计最近 30 天活跃用户有多少在最近 30 天里有连续 3 天及以上活跃？统计 28 天前活跃用户的 1、3、7、14、28 天留存率？3、mysql性能消耗大， 4、以上统计逻辑可扩展性差，由于数据分析经常进行探索性分析，上面传统方案能解决上面几个问题，但
[LBS学习笔记3]redis geo地理位置查询分析
龙大
03-20 1876
使用redis geosearch方法实现查找附近的地铁站功能
布隆过滤器的原理和实现(Guava、Redis)
qq_39380737的博客
05-15 800
<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>21.0</version> </dependency> /** * Hello world! */ public class App { /** * 插入.
HyperLogLog在Presto和ClickHouse中的兼容及性能差异
Dreamming Time的博客
02-23 1186
前言 当前HyperLogLog是一种主流的算法，用于估算海量同类型数据的不同值，因此几乎所有的计算/查询引擎都有了想关的实现，当然虽然可能其它的优化算法，但算法主体相同，然而不同引擎实现的存储过程大同小异，如果想要在不同引擎之前共享中间结果，就需要深入了解不同引擎的存储实现。 Presto是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎是一种Massively parallel processing (MPP)架构，多个节点管道式执⾏⽀持任意数据源（通过扩展式Connector
Redis中Geospatial常用命令了解
绅士jiejie的博客
03-09 344
命令 作用 GEOADD 将指定的地理空间位置(纬度、经度、名称)添加到指定的key中 GEODIST 返回两个给定位置之间的距离 GEOHASH 返回一个或多个位置元素的Geohash表示 GEOPOS 从key里返回所有给定位置元素的位置(经度和纬度) GEORADIUS 以给定的经纬度为中心，找出某一半径内的元素 GEORADIUSBYMEMBER 找出位...
redis再战之布隆过滤器《五》
python_start的博客
07-22 199
文章目录布隆过滤器（bloom）解决应用场景布谷鸟过滤器 布隆过滤器（bloom） 安装 首先需要redis安装布隆过滤器的扩展库： 进入布隆过滤器在github的仓库，下载zip包上传到linux或者点击鼠标右键获得下载地址，然后在linux上使用wget命令直接下载。 下载完之后获得一个zip的压缩包，需要下载解压工具 yum install unzip。 下载完unzip之后执行unzip RedisBloom-master.zip解压zip压缩包，得到RedisBloom-master目录。 cd
docker redis 安装布隆过滤器插件 redBloom filter
qq_35425070的博客
08-09 1978
直接使用官方提供的镜像启动。若仅想简单修改密码，直接使用，则使用如下命令。
Redis演进与Redis-cluster集群读写策略探索
"Redis架构演变与Redis-cluster群集读写方案" Redis作为一种高性能的键值存储系统，其架构随着时间的推移不断发展，以满足更高的可用性和数据安全性需求。本篇文章主要探讨了Redis架构从简单主从架构到哨兵模式，再...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

洋芋本人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值