懒惰删除和redis中的特殊线程

最新推荐文章于 2022-01-21 17:17:20 发布

dig73817

最新推荐文章于 2022-01-21 17:17:20 发布

阅读量203

点赞数

文章标签：数据库

原文链接：http://www.cnblogs.com/shizhuoping/p/11525900.html

版权

懒惰删除和redis中的特殊线程

懒惰删除

删除key的指令是del，如果key非常大，这个指令就会卡顿，此时可以用unlink，它会将删除丢给后台进程异步回收内存，在执行的一瞬间，其他客户端就无法访问到该key了。（如果key很小就会立刻删除）

删除任务会塞进异步任务队列（主线程操作这个队列时会有加锁和解锁操作，如果异步线程在休眠的话还会唤醒），后台线程会依次处理这些任务。

异步清空数据库

flushdb和flushall命令用来清空数据库，但是也很耗时，可以用async来代替异步删除。

AOF刷磁盘

在进行AOF时，将内存中的数据刷新到磁盘的sync函数也是很耗时的，会导致主线程效率下降，所以redis也会使用一个异步线程来操作这个过程，它也有一个属于自己的任务队列。

其他异步操作

还有很多的删除：淘汰时、过期时、rename时这些都可以通过配置来异步完成。

异步删除方案在最初设计时并没有考虑到，是后来才改造的，因为redis的对象共享机制，导致懒惰删除不干净，为了支持懒惰删除，redis将这种机制抛弃，改用了无共享设计。

其他异步操作：主从同步的增量同步

转载于:https://www.cnblogs.com/shizhuoping/p/11525900.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dig73817

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Redis学习拓展篇----懒惰删除

alvin_666的博客

06-09

379

懒惰删除 Redis内部除了一个主线程还有几个异步线程专门用作处理一些耗时的操作将Redis中的数据比作为一颗大树 1、Redis为什么使用懒惰删除 删除指令del会直接释放对象的内存，一般会很快，如果删除很大的key时删除操作会导致单线程卡顿，redis4.0中为了解决这个问题引入了unlink指令，可以对删除操作进行懒处理，丢给后台的线程来异步回收内存。多线程中安全性的保证：当要吧数据（大...

关于 Redis 的 懒惰删除 （十三）

禧年

12-11

277

平波缓进 —— 懒惰删除 一直以来我们认为 Redis 是单线程的，单线程为 Redis 带来了代码的简洁性和丰富多样的数据结构。不过Redis内部实际上并不是只有一个主线程，它还有几个异步线程专门用来处理一些耗时的操作。 Redis 为什么要懒惰删除(lazy free)？删除指令 del 会直接释放对象的内存，大部分情况下，这个指令非常快，没有明显延迟。不过如果删除的 key 是一个非常大的对象，比如一个包含了千万元素的 hash，那么删除操作就会导致单线程卡顿。 Redis 为了解决这个卡顿问题，在

参与评论您还未登录，请先登录后发表或查看评论

Redis的懒惰删除

loser与你

07-07

1182

Redis的懒惰删除 1.Redis中的懒惰删除 Redis内部实际上并不只有一个主线程，还有几个异步线程专门用来处理一些耗时的操作。异步线程在Redis内部被称为“BIO”，全称是Background IO，意思是在背后默默干活的IO线程。 (1)del指令 Redis的删除指令del会直接释放对象的内存，多数情况下，这个指令非常快。但是如果被删除的key是一个非常大的对象，那么删除操作就会导致单线程卡顿。为了解决这个问题，Redis4.0版本引入了unlink指令，它能对删除指令进行懒处理

redis源码分析与思考（十）——数据库键的删除策略与遍历策略

溯夜，逆流而上

10-12

226

在这里我们应当仔细思考键的删除策略，因为redis是单线程架构，如果删除键时占用了大量的时间的话，便会是整体的性能变差，而redis中同时采取了两种策略，一种是惰性删除策略，也就是上文提到的，Redis进行读写操作时，都会检查该键是否过期，过期则删除，这种策略有时会造成严重的内存泄露；而另一种策略是定期删除

Redis懒惰删除：异步线程的利与弊

"Redis懒惰删除、异步线程BIO、内存回收、渐进式删除、自适应算法、内存竞争" 在Redis中，懒惰删除是一种内存管理策略，旨在避免因大对象删除导致的主线程阻塞。在《源码9：如履薄冰 —— 懒惰删除的巨大牺牲(2)》...

Redis 懒惰删除是异步线程

qq_20853741的博客

12-23

563

大家都知道 Redis 是单线程的，但是 Redis 4.0 增加了懒惰删除功能，懒惰删除需要使用异步线程对已删除的节点进行内存回收，这意味着 Redis 底层其实并不是单线程，它内部还有几个额外的鲜为人知的辅助线程。这几个辅助线程在 Redis 内部有一个特别的名称，就是“BIO”，全称是 Background IO，意思是在背后默默干活的 IO 线程。不过内存回收本身并不是什么 IO 操作，只是 CPU 的计算消耗可能会比较大而已。 懒惰删除的最初实现不是异步线程 Redis 大..

Redis 4.0懒惰删除LazyFree：解决Big Key删除性能与可用性问题

Redis的新特性懒惰删除（LazyFree）是Redis 4.0引入的一项关键改进，旨在解决大型集合类型Key（如哈希表或有序集合）删除时可能引发的性能和可用性问题。在传统的Redis设计中，单线程模型可能导致在执行这类操作时，...

【Redis】懒惰删除

Franco的博客

03-29

1936

一直以来我们认为 Redis 是单线程的，单线程为 Redis 带来了代码的简洁性和丰富多样的数据结构。不过Redis内部实际上并不是只有一个主线程，它还有几个异步线程专门用来处理一些耗时的操作。 Redis 为什么要懒惰删除(lazy free)？删除指令del会直接释放对象的内存，大部分情况下，这个指令非常快，没有明显延迟。不过如果删除的 key 是一个非常大的对象，比如一个包含了千...

Redis深度历险-Redis懒惰删除

樊先知樊先知的博客

08-16

254

本文大部分内容引自《Redis深度历险：核心原理和应用实践》，感谢作者！！！

Redis之惰性删除

cainiao1412的博客

12-28

2979

场景使用del指令删除key时，redis会直接释放对象的内存，当对象很小时这个指令速度是很快的，但是如果是一个很大的对象被del时，那么删除操作就会比较耗时，造成其他指令阻塞，对客户端造成卡顿的现象。 unlink Redis在4.0版本中引入了unlink指令，可以对删除操作进行懒处理，丢给后台线程异步回收内存。 unlink youkey 复制代码注意，虽然是异步删除，但并不会引发并发问题，因为unlink指令发出后，该key将从redis有效数据结构中移除，其他线程无法再获取到它。

Redis之懒惰删除

cainiao1412的博客

01-21

2495

Redis内部有一个异步线程叫做BIO(background io)，懒惰删除的内存回收就是使用这个线程异步去做的。非异步回收 redis最开始实现懒惰删除时，并不是在异步线程里做，而是在异步线程里使用字典渐进式搬迁的方法来实现渐进式回收，例如对一个很大的hash字典，使用scan的方式，遍历第一维数组逐步删除二维链表内容，等所有的链表回收完了，再一次性回收一维数组，这种方式，需要控制好回收频率，不能太慢，否则内存会增长的较快，也不能太快，会消耗CPU资源， Redis在主线程中实现时，先判

如履薄冰：Redis 懒惰删除的巨大牺牲

程序人生的博客

12-13

2756

作者 | 老钱责编 | 胡巍巍大家都知道 Redis 是单线程的，但是 Redis 4.0 增加了懒惰删除功能，懒惰删除需要使用异步线程对已删除的节点进行内存回收，这意味...

Redis的删除策略，删除我是认真的

一边工作一边考研

09-17

3060

定时删除，每一个key都设置过期时间，每个key都用一个线程跟踪，当这个key过了过期时间，该线程就将这个key删除；但是当key的数量很大时，就会有很多线程，CPU的占用量会非常大 public class DeletePolicy1 { // 模拟redis private static Map<String,String> redis = new HashMap&lt...

Redis6 新特性多线程解析

琪琪的博客

01-10

474

众所周知，Redis 之前的版本一直都是典型的单线程模型（注意：这里不是指 Redis 单实例中只有一个线程，而是表示核心操作模块由单线程完成，当然另外还有一些辅助线程从旁协助，比如 LRU 的淘汰过程），为什么不使用多线程呢，其实原因很简单（官方解释）简单说来就是：根据以往的场景，普通 KV 存储瓶颈压根不在 CPU，而往往可能受到内存和网络I/O的制约 Redis 中有各种类型的数据操作，甚至包括一些事务处理，如果采用多线程，则会被多线程产生的切换问题而困扰，也可能因为加锁...

redis过期键删除策略

weixin_34342992的博客

10-13

364

为什么80%的码农都做不了架构师？>>> ...

标题：懒惰删除

pyb的博客

08-31

4836

摘要：（1）某些情况下删除是一种昂贵的操作，这个时候我们可以采用懒惰删除的办法。（2）简单的标记要删除的节点是为已删除。然后在查找等例程里面都人为的忽视标记过的节点. (3)如果标记删除的节点大于总数一半，就进行一次遍历，删除所有标记节点.void Lazy_Delete(List L,int X) { List temp; List

Redis 的过期策略、LRU、懒惰删除

qq_43843037的博客

11-13

941

过期策略 Redis 所有的数据结构都可以设置过期时间，时间一到，就会自动删除。你可以想象Redis 内部有一个死神，时刻盯着所有设置了过期时间的 key，寿命一到就会立即收割。你还可以进一步站在死神的角度思考，会不会因为同一时间太多的 key 过期，以至于忙不过来。同时因为 Redis 是单线程的，收割的时间也会占用线程的处理时间，如果收割的太过于繁忙，会不会导致线上读写指令出现卡顿。这些问题 Antirez 早就想到了，所有在过期这件事上，Redis 非常小心。过期的 key 集合 redis 会

用jemalloc代替glibc默认ptmalloc进一步提升服务器性能和负载

D_Guco的专栏

11-04

5244

启动redis时，无意中看到redis的启动信息有一个jemalloc的版本信息，处于好奇了解了一下，它是一个进一步提升服务器负载和性能的神器。一 Ptmalloc Linux 系统在装载 elf 格式的程序文件时，会调用 loader 把可执行文件中的各个段依次载入到从某一地址开始的空间中（载入地址取决 link editor(ld)和机器地址位数，在 32 位机器...