数据结构：快速的Redis有哪些慢操作？

最新推荐文章于 2024-11-16 16:04:25 发布
最新推荐文章于 2024-11-16 16:04:25 发布
阅读量142 收藏
点赞数
分类专栏： Redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tony10010/article/details/118636005
版权

Redis 哈希表 渐进式rehash 装载因子 数据结构
关键词由CSDN通过智能技术生成

一、底层数据结构

  • 简单动态字符串
  • 双向链表
  • 压缩列表
  • 哈希表
  • 调表
  • 整数数组
    在这里插入图片描述

二、键和值用什么结构组织？

Redis 使用了一个哈希表来保存所有键值对。一个哈希表，其实就是一个数组，数组的每个元素称为一个哈希桶。所以，我们常说，一个哈希表是由多个哈希桶组成的，每个哈希桶中保存了键值对数据，哈希桶中的元素元素保存的并不是值本身，而是指向具体值得指针
哈希表的最大好处很明显，就是让我们可以用 O(1) 的时间复杂度来快速查找到键值对——我们只需要计算键的哈希值，就可以知道它所对应的哈希桶位置，然后就可以访问相应的 entry 元素
在这里插入图片描述

全局是指Redis数据库中的所有key和value，是由一个哈希表来索引的。通过在这个哈希表中查询key，就可以找到对应的value。然后根据value的具体类型（例如Hash，Set，List等），再通过value的底层数据结构来读取具体的value数据，例如List通过双向链表来读取数据。

三、为什么哈希表操作变慢了？

  1. 原因：哈希冲突
  2. 解决方式：链表式，同一个哈希桶中的多个元素用一个链表来保存，它们之间依次用指针连接。

四、rehash

  1. 增加现有的哈希桶数量，让逐渐增多的 entry 元素能在更多的桶之间分散保存，减少单个桶中的元素数量，从而减少单个桶中的冲突
  2. Redis 默认使用了两个全局哈希表：哈希表 1 和哈希表 2。一开始，当你刚插入数据时，默认使用哈希表 1，此时的哈希表 2 并没有被分配空间。随着数据逐步增多，Redis 开始执行 rehash，这个过程分为三步：
    • 给哈希表 2 分配更大的空间，例如是当前哈希表 1 大小的两倍
    • 把哈希表 1 中的数据重新映射并拷贝到哈希表 2 中
    • 释放哈希表 1 的空间
    • 原来的哈希表 1 留作下一次 rehash 扩容备用
    • 渐进式rehash执行时，除了根据键值对的操作来进行数据迁移，Redis本身还会有一个定时任务在执行rehash，如果没有键值对操作时，这个定时任务会周期性地（例如每100ms一次）搬移一些数据到新的哈希表中，这样可以缩短整个rehash的过程

五、渐进式rehash

Redis 仍然正常处理客户端请求，每处理一个请求时：

  1. 从哈希表 1 中的第一个索引位置开始，顺带着将这个索引位置上的所有 entries 拷贝到哈希表 2 中
  2. 等处理下一个请求时，再顺带拷贝哈希表 1 中的下一个索引位置的 entries
    把一次性大量拷贝的开销，分摊到了多次处理请求的过程中，避免了耗时操作，保证了数据的快速访问

六、集合类型底层数据结构

  • 整数数组
  • 双向链表
  • 哈希表
  • 压缩列表
  • 跳表
    查询时间复杂度
    在这里插入图片描述
压缩列表
  • 类似于一个数组，数组中的每一个元素都对应保存一个数据。
  • 和数组不同的是，压缩列表在表头有三个字段 zlbytes、zltail 和 zllen，分别表示列表长度、列表尾的偏移量和列表中的 entry 个数
  • 压缩列表在表尾还有一个 zlend，表示列表结束
  • 查找定位第一个元素和最后一个元素，可以通过表头三个字段的长度直接定位，复杂度是 O(1)。而查找其他元素时，只能逐个查找，此时的复杂度就是 O(N)
    在这里插入图片描述
跳表
  • 有序链表的基础上，增加了多级索引，通过索引位置的几个跳转，实现数据的快速定位
  • 查找过程就是在多级索引上跳来跳去，最后定位到元素。这也正好符合“跳”表的叫法。当数据量很大时，跳表的查找复杂度就是 O(logN)
    在这里插入图片描述

什么时候开始Rehash

  • 装载因子：哈希表中所有entry的个数除以哈希表的哈希桶个数
  • 装载因子大于等于1，且哈希表允许进行hash：每个桶里边都有一个元素，并且进行RDB生成或AOF时，哈希表被标记为不允许进行rehash
  • 装载因子大于等于5：数据量远远大于哈希桶的数量，马上进行rehash
redis数据结构：快速的Redis有哪些慢操作？
阅读之后，对你有帮助，那就点个赞再走吧
10-12 171
一提到Redis，我们的脑子里马上就会出现一个词：“快。”但是你有没有想过，Redis的快，到底是快在哪里呢？实际上，这里有一个重要的表现：它接收到一个键值对操作后，能以微秒级别的速度找到数据，并快速完成操作。 数据库这么多，为啥Redis能有这么突出的表现呢？一方面，这是因为它是内存数据库，所有操作都在内存上完成，内存的访问速度本身就很快。另一方面，这要归功于它的数据结构。这是因为，键值对是按一定的数据结构来组织的，操作键值对最终就是对数据结构进行增删改查操作，所以高效的数据结构是Redis快速处理数据
旁路缓存：Redis是如何⼯作的？
阅读之后，对你有帮助，那就点个赞再走吧
03-21 224
我们知道，Redis提供了⾼性能的数据存取功能，所以⼴泛应⽤在缓存场景中，既能有效地提升业务应⽤的 响应速度，还可以避免把⾼并发⼤压⼒的请求发送到数据库层。 但是，如果Redis做缓存时出现了问题，⽐如说缓存失效，那么，⼤量请求就会直接积压到数据库层，必然 会给数据库带来巨⼤的压⼒，很可能会导致数据库宕机或是故障，那么，业务应⽤就没有办法存取数据、响 应⽤⼾请求了。这种⽣产事故，肯定不是我们希望看到的。 正因为Redis⽤作缓存的普遍性以及它在业务应⽤中的重要作⽤，所以，我们需要系统地掌握缓存的⼀系列
《Redis核心技术与实战》学习笔记2——数据结构：快速的Redis有哪些慢操作？
大白的成长之路
08-07 857
Redis 之所以能快速操作键值对，一方面是因为 O(1) 复杂度的哈希表被广泛使用，包括String、Hash 和 Set，它们的操作复杂度基本由哈希表决定，另一方面，Sorted Set 也采用了 O(logN) 复杂度的跳表。这里，你可以看到，一旦掌握了数据结构基本原理，你可以从原理上推断不同操作的复杂度，即使这个操作你不一定熟悉。集合类型的操作类型很多，有读写单个集合元素的，例如 HGET、HSET，也有操作多个元素的，例如 SADD，还有对整个集合进行遍历操作的，例如 SMEMBERS。
Redis 数据结构：快速的Redis有哪些慢操作？
小楼一夜听春雨，深巷明朝卖杏花
10-15 1084
一提到 Redis，我们的脑子里马上就会出现一个词：“快。”但是你有没有想过，Redis 的快，到底是快在哪里呢？实际上，这里有一个重要的表现：它接收到一个键值对操作后，能以微秒级别的速度找到数据，并快速完成操作。 数据库这么多，为啥 Redis 能有这么突出的表现呢？一方面，这是因为它是内存数据库，所有操作都在内存上完成，内存的访问速度本身就很快。另一方面，这要归功于它的数据结构。这是因为，键值对是按一定的数据结构来组织的，操作键值对最终就是对数据结构进行增删改查操作，所以高效的数据结构是 Redi..
02 | 数据结构：快速的Redis有哪些慢操作？
qq_37756660的博客
02-22 806
一提到 Redis，我们的脑子里马上就会出现一个词：“快。”但是你有没有想过，Redis 的快，到底是快在哪里呢？实际上，这里有一个重要的表现：它接收到一个键值对操作后，能以的速度找到数据，并快速完成操作。数据库这么多，为啥 Redis 能有这么突出的表现呢？一方面，这是因为它是内存数据库，所有操作都在内存上完成，内存的访问速度本身就很快。另一方面，这要归功于它的数据结构。
Redis源码解析：Redis有哪些慢操作？
小识的博客
02-22 1484
Redis有哪些慢操作？ Redis的各种命令是在一个线程中依次执行的，如果一个命令在Redis中执行的时间过长，就会影响整体的性能，因为后面的请求要等到前面的请求被处理完才能被处理，这些耗时的操作有如下几个部分 Redis可以通过日志记录那些耗时长的命令，使用如下配置即可 # 命令执行耗时超过 5 毫秒，记录慢日志 CONFIG SET slowlog-log-slower-than 5000 # 只保留最近 500 条慢日志 CONFIG SET slowlog-max-len 500 执行如下命.
Redis有哪些慢操作？
Cr1556648487的博客
09-09 857
从业务服务器到Redis服务器这条调用链路中变慢的原因可能有2个但是大多数情况下都是Redis服务的问题。但是应该如何衡量Redis变慢了呢？命令执行时间大于1s，大于2s？这其实并没有一个固定的标准。例如在一个配置较高的服务器中，0.5毫秒就认为Redis变慢了，在一个配置较低的服务器中，3毫秒才认为Redis变慢了。所以我们要针对自己的机器做基准测试，看平常情况下Redis处理命令的时间是多长？我们可以使用如下命令来监测和统计测试期间的最大延迟（以微秒为单位）比如执行如下命令。
【redis】快速的redis中有哪些慢操作
weixin_57597001的博客
04-03 585
在拷贝数据的时候，redis正常处理客户端请求，每处理一个请求，从hash表1中第一个索引位置，顺带着将这个索引位置上的所有entries拷贝到哈希表2中，等处理下一个请求时，在顺带拷贝哈希表1中的下一个索引位置的entries。用一个哈希表保存所有的键值对，这样做的好处是通过O（1）时间复杂度快速查找到键值对-》我们只需要计算键的哈希值，就可以知道它对应的哈希桶的位置，然后访问相应的entry元素。但是哈希桶中的元素保存的不是值本身，而是指向具体值的指针。redis使用一个hashb表保存所以的键值对。
快速的 redis 有哪些慢操作 - 数据结构
zbc的博客
11-15 613
从redis底层数据结构分析redis为什么这么快
02 快速的Redis有哪些慢操作
wmt0501的博客
04-08 573
Redis 在查找数据速率方面特别突出，通常是微秒级别的查找操作。其中一方面的原因就得益于 Redis 属于的是内存数据库，内存的访问速率本身就很快；另一方面的原因在于其 Redis 中数据结构，对键值对的操作最终可以看作是对数据结构的增删改查操作。 一、Redis 中数据结构 Redis 中 Value 的数据类型有 String, List, Hash, Sort Set, Set 五种，但是它们仅仅是数据类型，直接影响到对这些数据操作的性能是这些类型的底层数据结构，以下除了 String 类型采用的底
单线程的Redis有哪些 “慢“ 动作？
Pastxu的小屋
05-05 524
前言 为什么 Redis 这么火？ 键和值的保存形式？ 为什么哈希表操作变慢了？ 集合的操作效率？ 有哪些数据结构？ 不同操作的复杂度？ 总结 前言 现在一提到Redis的第一反应就是快、单线程，但是Redis真的快吗？真的是单线程吗？ 你有没有深入了解一下Redis，看看它的底层有哪些"慢动作"呢？ 为什么 Redis 这么火？ Redis作为一个内存数据库，它接收一个key到读取数据几乎是微秒级别，一个字快..
redis常用数据结构及命令
weixin_42824596的博客
05-24 1200
Redis可以存储键与5种不同数据结构类型之间的映射，这五种数据结构分别为String(字符串)、List（列表）、Set（集合）、Hash（散列）、和Zset（有序集合）。结构类型结构存储的值结构的读写能力String字符串、整数或者浮点数对整个字符串或者字符串的一部分执行操作；对整数和浮点数执行自增或者自减操作List一个链表，链表上的每个节点都包含一个字符串从链表的两端推入或者弹出元素；根据偏移量对链表进行修剪（trim）；读取单个或者多个元素；根据值查找或者移除元素Set。
Redis(二)：自定义数据结构
weixin_43844995的博客
03-16 533
上一篇介绍了 Redis 是如何存储和索引数据的，这一篇将介绍 Redis 定义的八大数据结构，这些高效的数据结构，不仅帮助 Redis 实现了高性能，更能够应用于各种场景。八大数据结构如下：SDS、双向链表、压缩列表、哈希表、整数集合、跳表、quicklist、listpack。本文介绍了 Redis 的八大数据结构。下一节将介绍在这些数据结构基础上实现的九大数据类型。
Redis 学习笔记
最新发布
Angindem博客
11-16 592
Redis 是一个基于内存的数据库，它提供了原子操作、丰富的数据类型、持久化选项以及一个简单的发布/订阅系统。由于其数据存储在内存中，Redis 能够提供极高的读写速度，使其成为处理大量数据时的理想选择。
Redis
m0_73837751的博客
11-14 810
String：简单键值存储，适合计数器、单一属性缓存。Hash：结构化存储，适用于存储对象数据（如用户信息）。List：有序队列，适合消息队列、任务队列。Set：无序集合，用于去重、唯一性统计、共同好友等。Sorted Set：有序集合，适合排行榜和积分排名。问题类型描述主要解决方案缓存穿透请求的数据既不在缓存中也不在数据库中，大量请求穿过缓存访问数据库缓存空结果、布隆过滤器、参数校验缓存击穿高并发请求集中访问缓存中某个热点数据，缓存过期导致直接访问数据库。
【Redis_Day4】内部编码和单线程模型
m0_74284629的博客
11-15 676
本篇总结了redis中的内部编码是什么，redis处理命令时采用的单线程模型，以及redis比mysql效率高的原因。
@Autowired 和 @Resource思考（注入redisTemplate时发现一些奇怪的现象）
2301_77615930的博客
11-15 741
@Autowired 和 @Resource思考（注入redisTemplate时发现一些奇怪的现象）
36.Redis核心设计原理
Csdn_xzh的博客
11-12 1266
Set为无序的，自动去重的集合数据类型，Set 数据结构底层实现为一个value为x`的字典（dict），当数据可以用整形表示时，Set集合将被编码为intset数据结构。ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为字典（dict）+跳表（skiplist），当数据比较少时，用ziplist编码结构存储。ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为 字典(dict) + 跳表(skiplist) ,当数据比较少时，用ziplist编码结构存储。
宝塔redis数据迁移+关闭进程
2202_75361164的博客
11-16 275
1.查看端口是否被占用。
RedisInsight: 掌握Redis数据结构的可视化工具
【标签】:"Redis 内存优化 配置 数据压缩 碎片整理 数据结构优化 监控分析" 【压缩包子文件的文件名称列表】: "redis_memory_optimization_practices.pdf" 资源摘要信息: "Redis内存优化是提升Redis性能和稳定性的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值