Redis 碎片整理原理解析与实践

最新推荐文章于 2024-07-18 21:53:17 发布
最新推荐文章于 2024-07-18 21:53:17 发布
阅读量130 收藏
点赞数
分类专栏： 智能化软件系统建设方案专栏 文章标签： redis 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70923796/article/details/130613713
版权
本文深入探讨Redis内存碎片问题，包括诡异耗时问题、内存碎片的成因与危害，以及如何监控和解决内存碎片。针对Redis 4.0及以上版本，介绍了碎片整理功能，并给出了最佳实践和配置建议。
摘要由CSDN通过智能技术生成

【摘要】某天下午，有个业务突然找到我说，他的集群在做了一个前缀删除后，耗时涨了3倍，工单如下：做了一个前缀删除，数据量从2.9亿->6千万……

一、诡异耗时问题

Redis平台提供了各种删除数据的自助工单（每天数十个工单）

  • 全部删除

  • 按前缀删除

  • 按过期时间删除

  • 按空闲时间删除

  • 按类型删除

  • 上述的排列组合。

某天下午，有个业务突然找到我说，他的集群在做了一个前缀删除后，耗时涨了3倍，工单如下：做了一个前缀删除，数据量从2.9亿->6千万。

说实话，我当时脑子的瞬间想法是：

  • 业务应该指的是删除期间耗时涨了？

  • 删除后Redis端的耗时不会涨吧？AOF和RDB也没开，感觉业务那边描述有问题。

  • 业务服务有异

了解本专栏 订阅专栏 解锁全文 超级会员免费看
米朵儿技术屋
关注
专栏目录
订阅专栏
redis内存碎片处理
fanghailiang2016的博客
11-28 1176
内存碎片让redis占用比自身实际数据存储更多的内存空间，需要整理redis数据以保证redis内存空间的最大化利用
redis-impl：使用C语言从0实现Redis，参考《 Redis设计与实现》
02-20
为了优化内存使用，Redis会进行内存碎片整理，以及使用LRU（Least Recently Used）或LFU（Least Frequently Used）策略进行键的淘汰。在C语言中，需要设计合适的数据结构和算法来支持这些功能。 最后，为了保证高...
redis内存碎片整理
LT_lover的专栏
07-31 2053
redis在大量申请、释放资源后，会产生内存碎片，大量的内存碎片会影响新内存的申请，本文分析redis自带的内存碎片整理代码逻辑。
redis4支持内存碎片清理功能实现分析
weixin_34238642的博客
02-09 227
自动清理实现分析 实现代码的入口在:activ...
redis之内存碎片问题如何解决
wang0907的博客
12-06 2025
本文一起看下如何处理Redis的内存碎片问题。当操作系统内存充足，但是却无法申请连续N字节内存空间时，这些剩余的内存空间就叫内存碎片。内存碎片的形成有两方面的因素，第一个是分配策略，第二个是数据本身的修改，分别来看下。Redis使用的内存分配器，如jemelloc，在进行内存分配时并非需要多少就申请多少，而是按照2的次方来申请的，比如需要的是6字节的内存空间，则会申请8字节的，需要的是13字节则会申请16字节，而这，就会形成内存碎片。如下图：其中的红色区域就是内存碎片。我们假定应用A和应用B分别申请了8字节
深入理解 Redis 内存碎片及其清理方法
良月柒
06-18 1432
内存碎片是指内存分配和释放过程中，内存块无法被有效利用的现象。内部碎片：分配的内存块大于实际需要的内存，导致未被使用的内存部分称为内部碎片。外部碎片：内存块在频繁的分配和释放过程中，形成了大量不连续的内存小块，使得大块内存无法被分配使用。在 Redis 中，内存碎片通常是由于频繁的键值对操作导致的。例如，当 Redis 分配和释放不同大小的内存块时，内存管理器可能无法找到合适的连续内存块，从而产生内存碎片。
Redis源码深度解析与Java应用笔记
- Redis协议的解析与构建。 3. Redis的持久化技术，可能包括： - RDB快照的创建过程及其触发条件。 - AOF（Append Only File）持久化的机制及其优化。 - 混合持久化模式的工作原理。 4. Redis的复制与高可用...
Redis技术全解析：从入门到高级应用与集群部署
- 内存管理：介绍Redis如何管理内存，包括内存淘汰策略、内存碎片整理等。 - 安全性：了解Redis的安全性设置和认证机制，以及常见的安全问题。 【总结】 本笔记文档覆盖了Redis的入门知识、高级特性、底层原理、...
Redis命令详解与设计实现指南
- "Redis设计与实现+第1版(黄健宏).pdf"：这本书是由黄健宏编写的，深入解析了Redis的内部工作机制和设计哲学，对于希望深入了解Redis内部原理的读者来说是必读之书。 这些文档能够为IT行业的专业人员提供宝贵的...
Redis 关于内存碎片的解决方法
最新发布
Cheney的博客
07-18 1213
今天生产机报内存爆满异常被叫过去查看问题，通过各种排除最终定位到了Redis的内存碎片的问题，这篇博客将详细介绍Redis内存碎片问题并给出最佳实践解决此问题。
Redis 内存碎片揭秘：成因、影响与清理策略
知行同学
04-13 1094
然而，随着数据的频繁增删改查，Redis 内存管理中一个不可忽视的问题——内存碎片，开始显现其影响。通过理解碎片成因，合理运用清理策略（包括重启实例、配置优化、数据结构选择、版本升级等），我们可以有效地控制和减少 Redis 内存碎片，提升系统的稳定性和效率。这些操作可能导致内存碎片的产生。碎片化的内存空间无法得到有效利用，即使总的剩余内存充足，但由于碎片的存在，可能导致新数据无法找到足够大的连续空闲空间进行分配，从而引发“内存不足”的假象，迫使 Redis 进行不必要的数据淘汰或触发 swap。
redis分析-内存碎片动态回收概述
qq_33339479的博客
10-13 554
内存碎片动态回收 在redis4版本中，新加入了内存碎片动态回收特性，该特性支持动态的将内存碎片进行回收，该功能的主要是运行redis压缩一些小空间和未利用的空闲空间，从而允许内存回收。 通常情况下出现内存碎片是每一个内存分配器都会碰到这个问题并且占用额外资源，平常情况下只需要重启服务就可以降低内存的碎片率，或者将所有数据都先迁移走然后等数据删除完成之后再重新迁移回来。因为如上的原因redis提供了一种在服务运行中也可以内存整理的方法。 基本流程是当碎片率超过一个比率之后，redis会通过jemalloc的
Redis内存优化实战：揭示碎片问题与解决方案
qq_44103359的博客
04-14 454
Redis 内存碎片是随着数据量增长而产生的问题，可能会对性能产生影响。通过优化键值对大小、使用内存压缩和定期进行内存碎片整理等策略，可以有效解决 Redis 内存碎片问题。掌握这些策略对于维护 Redis 的高性能至关重要。随着 Redis 技术的不断演进，理解内存碎片问题并采取相应的解决措施对于开发者和运维人员来说至关重要。
Redis--内存回收机制详解
weixin_42118323的博客
03-02 1412
众所周知Redis之所以性能高是因为数据都存在内存中，内存是很宝贵的，Redis的内存回收机制本质就是处理达到过期时间的key-value，以及当内存到达最大使用值时候触发的内存淘汰策略。
redis碎片整理（转载）
wyl9527的博客
09-21 278
https://www.cnblogs.com/any-way/p/12552089.html
Redis：性能风险之内存碎片及清理
张豫湘的博客
04-09 790
2KB、4KB、8KB分配空间，申请大小N，则分配2的次幂大于且最接近N的空间大小进行分配、好处在于多分配的空间等再次需要且这块多余的空间能满足时，无需重复分配，应用申请内存总是一块连续的空间，可能机器的内存剩余容量够但是应用无法正常的申请内存，由于剩余内存没有连续的大小为N的内存了，正是由于这些剩余内存都是内存碎片导致的，可以理解为连续空间中间断的未使用内存。不过我们可以通过设置redis的参数来控制redis碎片清理的开始时间、结束时间、CPU的占用，从而减少对redis的影响。
Redis为什么变慢了？一文讲透如何排查Redis性能问题
harmful_sheep的博客
07-12 1341
好了，以上就是我总结的在使用 Redis 过程中，常见的可能导致延迟、甚至阻塞的问题场景，以及如何快速定位和分析这些问题，并且针对性地提供了解决方案。这里我也汇总成了思维导图，方便你在排查 Redis 性能问题时，快速地去分析和定位。这里再简单总结一下，Redis 的性能问题，既涉及到了业务开发人员的使用方面，也涉及到了 DBA 的运维方面。
Redis 4.0 自动内存碎片整理（Active Defrag）源码分析
大叶子不小的博客
02-07 1292
我们先看一下redis.conf 中关于的注释（google 翻译）功能介绍警告此功能是实验性的。然而，即使在生产中也进行了压力测试，并且由多个工程师手动测试了一段时间。什么是主动碎片整理？自动（实时）碎片整理允许Redis服务器压缩内存中小数据分配和数据释放之间的空间，从而允许回收内存。碎片化是每个分配器都会发生的一个自然过程（幸运的是，对于Jemalloc来说却不那么重要）和某些工作负载。通常需要重新启动服务器以降低碎片，或者至少刷新所有数据并再次创建。
20 删除数据后的Redis内存占用率为什么还是很高？
pdf超级菜
05-23 359
有时候Redis明明做了数据删除，数据量已经不大了，但是使用top命令的时候，还会发现Redis占用了很多内存？ 这是因为，当数据删除之后，Redis释放的内存空间会由内存分配器管理，并不会立即返还给操作系统。所以，操作系统仍然记录着给Redis分配了大量的内存。 同时还存在一个潜在风险点：Redis释放的内存空间可能并不是连续的，那么这些不连续的内存空间很有可能处于一种闲置的状态。这就会导致一个问题：虽然有空闲空间，Redis却无法用来保存数据，不仅会减少Redis能够实际保存的数据量，还会降低Red
《Redis实战》源码解析与实践
由于标题和描述中提到的是“redis in action源码”，这很可能指的是与Redis相关的某个具体的实践项目、书籍源码或者是一套实践案例的源代码。这些内容通常包含了如何在真实环境中部署和使用Redis的实际示例，以及对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

米朵儿技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值