redis 删除大key集合的方法

最新推荐文章于 2024-07-16 04:53:05 发布
最新推荐文章于 2024-07-16 04:53:05 发布
阅读量9.7k 收藏 22
点赞数 6
分类专栏： redis # Python java 文章标签： java redis python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/88560285
版权
Python 同时被 3 个专栏收录
26 篇文章 2 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
java
3 篇文章 0 订阅
订阅专栏
redis
2 篇文章 0 订阅
订阅专栏
本文介绍了如何处理Redis中的大Key，特别是大集合数据类型的删除问题，以避免导致Redis阻塞或崩溃。推荐使用sscan等分批删除方法，以及利用Python脚本进行批量操作。此外，解释了Redis 4.0引入的lazyfree机制，通过UNLINK命令和后台删除来缓解主线程阻塞。文章还讨论了主动删除、过期删除的配置选项和优化策略。
摘要由CSDN通过智能技术生成

redis大key，这里指的是大的集合数据类型，如（set/hash/list/sorted set），一个key包含很多元素。由于redis是单线程，在删除大key(千万级别的set集合)的时候，或者清理过期大key数据时，主线程忙于删除这个大key，会导致redis阻塞、崩溃，应用程序异常的情况。

一个例子

线上redis作为实时去重的一个工具，里面有6千万的用户guid，这么一个set集合，如果直接使用del删除，会导致redis严重阻塞。

10.1.254.18:6380> info memory
# Memory
used_memory:15175740016
used_memory_human:14.13G
used_memory_rss:22302339072
used_memory_peak:22351749192
used_memory_peak_human:20.82G
used_memory_lua:36864
mem_fragmentation_ratio:1.47
mem_allocator:jemalloc-3.6.0
10.1.254.18:6380> scard helper_2019-03-12
(integer) 64530980
10.1.254.18:6380> del helper_2019-03-12
(integer) 1
(81.23s)
10.1.254.18:6380>
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据技术派
关注
  • 6
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Redis 由浅入深 (6) - Redis批量删除key
yh4494的博客
02-29 1470
日常工作当中经常会遇到删除Redis key的问题，如果是删除某个key，使用 DEL keyname 或者 EXPIRE keyname ttl 都可以实现。但如果想要一次性删除多个key应该怎么处理呢？Redis本身并不支持批量删除key的操作，下面我们就来看看如何巧妙地处理这类问题。
Redis批量删除Key
强大的外表下，真实很渺小！
12-10 9252
redis里积累了几千条测试数据，跟真实数据混杂在一起，好在key都是以/test开头。 flush不现实，del命令又不像keys命令一样支持模糊条件。用keys命令读出来再del掉是一个可行的办法，可惜要写脚本【懒…… 幸好在网上翻到了膘叔的这一篇文章。修改一下，一行命令搞定： ./redis-cli -a password -n 0 keys "/test/*" | xargs
Redis通用命令 & key的过期删除策略
he20021221的博客
03-18 1306
Redis全局命令（set/get/keys/exists/del/expire/pexpire/ttl/type) Redis中key的删除策略
Java 清除redis map数据
最新发布
weixin_40779900的博客
07-16 55
redis相关视频讲解：golang context 并发编程实战考题——实现带有过期功能的单机锁Java 清除 Redis Map 数据 Redis 是一个高性能的键值存储系统，广泛用于缓存、消息队列和数据存储等场景。在 Java 应用中，我们经常使用 Redis 来存储数据，比如使用 Map 结构存储一些键值对。但有...
Redis当中的大Key如何进行处理
qq_56999918的博客
04-02 2180
很多铁子可能会认为大key，是这个key的值很大其实不是，而是key的value值很大一般对于下面这些我们可以称为大key.String 类型值大于10KB。Hash、List、Set、Zset类型元素个数超过5000个。
Redis-大key删除法
weixin_44777680的博客
06-14 3300
redis大key是让人比较头疼的问题，如果线上redis出现大key，断然不可立即执行 ，因为大key的删除会造成阻塞。阻塞期间，所有请求都可能造成超时，当超时越来越多，新的请求不断进来，这样会造成redis连接池耗尽，尽而引发线上各种依赖redis的业务出现异常。...
Redis 大Key删除策略
kang2411212的博客
05-18 872
Redis 大Key删除策略 问题背景 一个 key 的 value 特别大，由于 Redis 是单线程模型，当对该 key 进行查询或者删除时，会造成 Redis 阻塞，阻塞期间所有的请求都有可能超时 如何解决 怎么发现大key 1. String 类型 可以使用命令 --bigkeys 该命令对于 String 类型是统计的 value 的字节数，而对于 list 等类型是统计的元素的个数 我们使用 --bigkeys 可以直观的判断出 String 的大key --bigkeys 是采用 scan
redis删除指定key
我的博客
06-16 3万+
redis删除指定key 1.打开redis目录并打开redis-cli.exe 如果直接输入get key会出现以下问题，表示需要认证，也就是需要登录用户 使用auth password登录即可 然后使用get key获取键的值 确认后，使用del key删除键中的值，可多个删除 ...
redis中key的设置方法步骤
09-09
`SET KEY_NAME VALUE`是基础的设置Key值的方法，其中`KEY_NAME`是你要设置的Key的名称，`VALUE`则是对应的值。例如： ```shell redis 127.0.0.1:6379> SET mykey "Hello, Redis!" ``` 上述命令会在Redis中创建一个...
redis批量删除key的步骤
09-14
本文将详细介绍如何在Redis中正确地进行批量删除key的操作。 批量删除Redis中的key通常涉及两个主要步骤： 1. **搜索匹配的键**：首先，你需要找到要删除的键。在Redis中，可以使用`KEYS`命令来查找匹配特定模式的...
Redis 高效删除大key，看完直呼精彩！
m0_58479954的博客
07-15 3476
一、大key的删除问题 大key（bigkey）是指 key 的 value 是个庞然大物，例如 Hashes, Sorted Sets, Lists, Sets，日积月累之后，会变得非常大，可能几十上百MB，甚至到GB。 如果对这类大key直接使用 del 命令进行删除，会导致长时间阻塞，甚至崩溃。 因为 del 命令在删除集合类型数据时，时间复杂度为 O(M)，M 是集合中元素的个数。 Redis 是单线程的，单个命令执行时间过长就会阻塞其他命令，容易引起雪崩。 阿里在内部 Redis 使用规范中也规定
Redis删除key
热门推荐
慎独
01-18 3万+
Redis删除key
redis bigkey 删除问题
wejack的专栏
01-04 1948
一、慢操作分析 redis 的慢操作已经有了，如果没有，我们可以自己去 redis 服务器查看历史的慢日志操作，或者有对应的慢操作监控系统也可以发现问题，这里不做展开。 接下来我们就要看一看为什么这么慢。 看了下项目中的实现代码，结合日志一分析，发现是一个 redis bigkey。 一个 redis key，对应的是一个 map, 里面防了几十万的 key/value。删除的时候一把直接删除，自然是慢的。 本文带大家一起分析下 redis bigkey 删除的解决方案，希望你工作中遇到类似问题提供一个解决
redis SortedSet有序集合的增删改查
ThinkPet
06-08 1646
redis SortedSet有序集合的增删改查
redis中sorted set(有序集合)操作(五)
胖墩的IT博客
05-11 2275
sorted set和前一篇文章的set的区别就是它是会自己排序的，但又不像java中按插入的顺序排序或者字符串排序，是添加的时候需要自己添加一个分数，因为是set所以不允许重复，但是分数可以重复，大家可以理解为map，set的值为map的key，分数为map的value，排序根据分数来进行排序，当然可以正序也可以反序，感觉适合做排行榜一类的 命令示例 1. ZADD/ZCARD/ZCOUNT...
redis del大key可能带来的风险
Zhu的专栏
07-31 2990
1、redis命令 del 的时间复杂度是o(m), 其中m就是key中所包含的元素个数。比如当del list、set、hash等数据结构的时候，如果这样的key里面的数据达到千万级别，可能会阻塞redis进程超过10s，其他并发的命令都超时。
Redis批量删除Key的三种方式(linux和windows环境下都有)
xtho62的博客
08-19 1万+
Redis 中有删除单个 Key 的指令 del，网上资料大多数都说没有批量删除 Key 的指令，是否真这样有待再次确定，不过我们可以借助 Linux的 xargs 指令来完成这个动作，redis本身就是为Linux而生。 1.使用命令行批量删除redis的key 语法 ./redis-cli -h IP -p PORT -a PASSWORD -n NUM keys 'key*' | xargs ./redis-cli -h IP -p PORT -a PASSWORD -n NUM del IP:
REDIS 批量删除命令说明
caox_nazi的博客
11-02 3万+
REDIS 批量删除命令说明 1.访问redis根目录    cd  /usr/local/redis-2.8.19 2.登录redis：redis-cli -h 127.0.0.1 -p 6379 （其中，127.0.0.1可以写成服务器的IP地址，6379为端口号） 3.查看所有key值：keys * 4.删除指定索引的值：del key 5.清空整个 Redis 服务器的数据：...
redis模糊查询key集合
06-03
如果你想要模糊查询Redis中的key集合，可以使用SCAN命令进行操作。具体步骤如下： 1. 使用KEYS命令获取所有符合条件的key。 ``` KEYS pattern ``` 其中，pattern是匹配模式，可以使用通配符*和?。例如，如果你想...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值