【Redis】获取没有设置ttl的key脚本

一 前言 

     在运维Redis的时候,总会遇到使用不规范的业务设计,比如没有对key设置ttl,进而导致内存空间吃紧,通常的解决方法是在slave上dump 出来所有的key ,然后对文件进行遍历再分析。遇到几十G的Redis实例,dump + 分析 会是一个比较耗时的操作,为此,我开发了一个小脚本直接连接Redis 进行scan 遍历所有的key,然后在检查key的ttl,将没有ttl的key输出到指定的文件里面。

二 代码实现

  1. # encoding: utf-8
  2. """
  3. author: yangyi@youzan.com
  4. time: 2018/4/26 下午4:34
  5. func: 获取数据库中没有设置ttl的 key
  6. """
  7. import redis
  8. import argparse
  9. import time
  10. import sys


  11. class ShowProcess:
  12.     """
  13.     显示处理进度的类
  14.     调用该类相关函数即可实现处理进度的显示
  15.     """
  16.     i = 0 # 当前的处理进度
  17.     max_steps = 0 # 总共需要处理的次数
  18.     max_arrow = 50 # 进度条的长度

  19.     # 初始化函数,需要知道总共的处理次数
  20.     def __init__(self, max_steps):
  21.         self.max_steps = max_steps
  22.         self.i = 0

  23.     # 显示函数,根据当前的处理进度i显示进度
  24.     # 效果为[>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>]100.00%
  25.     def show_process(self, i = None):
  26.         if i is not None:
  27.             self.i = i
  28.         else:
  29.             self.i += 1
  30.         num_arrow = int(self.i * self.max_arrow / self.max_steps) # 计算显示多少个'>'
  31.         num_line = self.max_arrow - num_arrow # 计算显示多少个'-'
  32.         percent = self.i * 100.0 / self.max_steps # 计算完成进度,格式为xx.xx%
  33.         process_bar = '[' + '>' * num_arrow + ' ' * num_line + ']'\
  34.                       + '%.2f' % percent + '%' + '\r' # 带输出的字符串,'\r'表示不换行回到最左边
  35.         sys.stdout.write(process_bar) # 这两句打印字符到终端
  36.         sys.stdout.flush()

  37.     def close(self, words='done'):
  38.         print ''
  39.         print words
  40.         self.i = 0


  41. def check_ttl(redis_conn, no_ttl_file, dbindex):
  42.     start_time = time.time()
  43.     no_ttl_num = 0
  44.     keys_num = redis_conn.dbsize()
  45.     print "there are {num} keys in db {index} ".format(num=keys_num, index=dbindex)
  46.     process_bar = ShowProcess(keys_num)
  47.     with open(no_ttl_file, 'a') as f:

  48.         for key in redis_conn.scan_iter(count=1000):
  49.             process_bar.show_process()
  50.             if redis_conn.ttl(key) == -1:
  51.                 no_ttl_num += 1
  52.                 if no_ttl_num < 1000:
  53.                     f.write(key+'\n')
  54.             else:
  55.                 continue

  56.     process_bar.close()
  57.     print "cost time(s):", time.time() - start_time
  58.     print "no ttl keys number:", no_ttl_num
  59.     print "we write keys with no ttl to the file: %s" % no_ttl_file


  60. def main():
  61.     parser = argparse.ArgumentParser()
  62.     parser.add_argument('-p', type=int, dest='port', action='store', help='port of redis ')
  63.     parser.add_argument('-d', type=str, dest='db_list', action='store', default=0,
  64.                         help='ex : -d all / -d 1,2,3,4 ')
  65.     args = parser.parse_args()
  66.     port = args.port
  67.     if args.db_list == 'all':
  68.         db_list = [i for i in xrange(0, 16)]
  69.     else:
  70.         db_list = [int(i) for i in args.db_list.split(',')]

  71.     for index in db_list:
  72.         try:
  73.             pool = redis.ConnectionPool(host='127.0.0.1', port=port, db=index)
  74.             r = redis.StrictRedis(connection_pool=pool)
  75.         except redis.exceptions.ConnectionError as e:
  76.             print e
  77.         else:
  78.             no_ttl_keys_file = "/tmp/{port}_{db}_no_ttl_keys.txt".format(port=port, db=index)
  79.             check_ttl(r, no_ttl_keys_file, index)


  80. if __name__ == '__main__':
  81.     main()




注意:
    代码里面对没有ttl的key的输出做了限制,大家使用的时候可以调整阈值 或者去掉 全部输出到指定的文件里面。欢迎大家使用,并给出功能或者算法上的改进措施。




来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22664653/viewspace-2153419/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/22664653/viewspace-2153419/

### 设置TTL的字符串键值对 在 Redis 中,可以通过 `SET` 命令创建一个字符串类型的键值对,并通过 `EXPIRE` 或者 `SETEX` 命令为其设置生存时间(Time To Live, TTL)。以下是具体的实现方式: #### 创建带有 TTL 的字符串键值对 可以使用以下方法来创建带 TTL 的字符串键值对: 1. 使用 `SET` 和 `EXPIRE` 组合命令。 2. 使用单条命令 `SETEX`。 ##### 方法一:`SET` + `EXPIRE` ```bash SET key value EXPIRE key seconds ``` 例如,设置键 `k1` 的值为 `"hello"` 并将其 TTL 设为 60 秒: ```bash SET k1 "hello" EXPIRE k1 60 ``` ##### 方法二:`SETEX` 可以直接使用 `SETEX` 命令一次性完成键值对的创建和 TTL 的设定: ```bash SETEX key seconds value ``` 例如,同样设置键 `k1` 的值为 `"hello"` 并将其 TTL 设为 60 秒: ```bash SETEX k1 60 "hello" ``` #### 列举前 100 个具有 TTL 的字符串键值对 为了找到并列举前 100 个设置TTL 的字符串键值对,可以按照如下步骤操作: 1. **扫描所有键** 使用 `SCAN` 命令遍历数据库中的所有键。由于 Redis 数据库可能包含大量键,因此推荐分批处理而不是直接使用 `KEYS *`,后者可能导致阻塞。 2. **过滤字符串类型键** 对于每一个键,使用 `TYPE` 命令判断其是否为字符串类型。 3. **检查是否有 TTL** 如果键是字符串类型,则进一步调用 `TTL` 命令验证它是否存在过期时间。 4. **收集符合条件的结果** 将满足条件的键及其对应的值存储起来,直到达到目标数量为止。 下面是完整的脚本示例(假设我们希望获取最多 100 条记录): ```lua local cursor = "0" local result = {} local count = 0 repeat -- SCAN 获取一批键 local scanResult = redis.call("SCAN", cursor, "COUNT", 100) cursor = scanResult[1] for _, key in ipairs(scanResult[2]) do -- 跳过非字符串类型的键 if redis.call("TYPE", key)["ok"] ~= "string" then goto continue end -- 检查 TTL 是否大于零 local ttl = tonumber(redis.call("TTL", key)) if ttl <= 0 then goto continue end -- 添加到结果集 table.insert(result, {key=key, value=redis.call("GET", key), ttl=ttl}) count = count + 1 if count >= 100 then break end ::continue:: end until cursor == "0" return result ``` 此 Lua 脚本会返回一个数组,其中每个元素都是一个对象,包含了键名、值以及剩余的有效期(单位秒),并且只保留那些属于字符串类型且有有效 TTL 的项[^1]。 #### 注意事项 - 上述脚本适用于 Redis 支持 EVAL 执行 Lua 脚本的功能版本。 - 当实际环境中存在大量的键时,请注意调整每次迭代读取的数量参数(如上文中的 COUNT 参数设为 100),以便平衡性能与资源消耗之间的关系。 - 若某些情况下无法运行复杂查询逻辑或者需要更高效的方式,考虑利用客户端侧筛选机制配合服务端提供的基础指令组合达成目的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值