超大批量删除redis中无用key

 目前线上一个单实例redis中无用的key太多，决定删除一部分。

1、删除指定用户的key，使用redis的pipeline

    根据一定条件把需要删除的用户统计出来，放到一个表里面，表为 del_user(int user_id)，rows大约在1千万。

    要删除的key为 "login:%s" %s匹配 user_id .

    写sql文如下：把sql文保存在一个文件里面，命名为 1.sql 

SELECT CONCAT(

  "*2\r\n",  
  '$3\r\n',  
  'DEL\r\n',  
  '$', LENGTH(redis_key), '\r\n',  
  redis_key, '\r'
)  
FROM (  
  SELECT 
  CONCAT('login:',user_id) AS redis_key
  FROM del_user
) AS t;

  然后执行命令：

  mysql --raw --skip-column-names --default-character-set utf8 -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe

 实际执行速度非常快，每分钟大概删除300多万个key。

2、删除模式匹配下的key，使用lua脚本

比如有个需求，需要删除以":login"结尾的所有key， 业务中key的设计是这样的 %s:login

第一种方式：

redis-cli -a "password" -n 0 -p 6379 keys "*:login" | xargs -i redis-cli -a "password" -n 0 -p 6379 del {}

这样一个坏处每次都要建立一个连接，量小的话还可以接受，量大的话，效率不行。

第二种方式：

redis-cli -a "password" -n 0 -p 6379  EVAL "return redis.call('del', unpack(redis.call('keys', ARGV[1])))" 0 *:login

这样的方式，通过内置的 Lua 解释器，可以使用 EVAL 命令对 Lua 脚本

但这种处理方式，量大的情况下，lua函数unpack会出现问题，会报错误

(error) ERR Error running script (call to f_e177a091510d969af3b388ee986dbe6658df6b57): user_script:1: too many results to unpack 

第三种方式：

实际上是第二种的改进方式，一次性unpack太多出问题，那就干脆一次5000吧，这样就不会有问题了

redis-cli -a "password" -n 0 -p 6379 EVAL "local keys = redis.call('keys', ARGV[1]) for i=1,#keys,5000 do redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) end return #keys" 0 *:login

这段脚本的意思，首先定义一个数组 keys，里面存储了模式匹配的所有的以 *:login结尾的key，然后for循环，每次处理5000，也就是说每次del 5000个key。

目前测试下来，1000万个key，也就需要2分40多秒，速度非常快。

本文转载:刘晓的博客