Redis内存分析和清理

开篇

  本来这篇文章要在年前发的,结果一直拖到年后才完成实在是惭愧。
  背景:马上要过年了,但是通过zabbix监控的Redis内存占用,发现公司线上Redis的内存一直在快速增长,并且不做处理的话,会在放假期间出现内存占用过半,可能影响春节期间的正常服务。

 

Redis内存占用情况

 

  为了预防以上问题,我和同事开始了Redis内存分析和清理的慢慢长路。。。。。。

内存分析

  Redis的内存快速增长一般只有两种原因,不正确的使用Redis和业务快速增长。为了确定内存增长的真实原因,首先要做的就是Redis的Key键分析:

监控

  在要解决问题之前,要先找到问题的根源。Redis作为公司的公共服务,多个部门在同时使用,首先要确定是那个部门使用的库出现了问题。我们在一周时间里,每日统计Redis的KeySpace来分析各个库的增长情况

 

 

例子,非真实数据

 

  通过一周的统计,我们发现5号库一直在持续增长,那增长的原因是什么呢?接下来就要做5号库Key键的全库分析

Key键分布

  为了方便分析且不影响线上Redis提供服务,我们通过运维部门获得了线上Redis的RDB快照(为了数据安全,你要发各种邮件。。。。)。
  到了这里,向大家推荐一个工具rdbtools,rdbtools可以分析Redis的RDB文件,提供详细的内存使用分析报告
  我们使用的是15天免费版,并且免费版最多只能分析500M的RDB文件.

rdbtools Mac版


  因为,我本机rdbtools莫名没法启动了,在这里就不给大家展示了。主要是通过rdbtools分析rdb文件,rdbtools会提供各个库的key值的数量和占用内存的大小。分析后得到5号库占用内存最大,符合监控时期的现象。然后我们在本地将5号库以外的所有库清空,并保存快照,再次分析(免费版只能分析500M,所以为了分析的更准确,清空了其他库)。rdbtools还提供了key键的自动分类,将相似key键分成一类,例如key:tc:2018-10-10 这种会自动归类到 key:tc:* 帮助我们更好的分析key
  在通过rdbtools帮助下,我们发现了两类大key,库中一共1千万的key 这两类key就有800多万,在和使用5号库的部门沟通反馈后,得知这两类key都是无效且可以清理的,并且他们会重新上线,避免新的垃圾key的产生。接下来就是key键清理了。

 

Key键删除

  在分析得到两类Key是内存占用最大的源头后,我们开始着手处理这些key。首先在本地将这两类总计800万的key导出到文本中。使用以下命令:

 

redis-cli -n 5 keys "test_tc_*" >/Users/lingyun/Desktop/test-tc-keys.txt

  命令执行速度很快,几秒就完成了,我们会得到两个文本文件,在线上会用到这两个文件。
  将两类Key导出后,我们在本地使用命令删除这两类key,评估可释放空间。在删除之前一定要关闭本地的AOF和RDB,否则删除过程会非常漫长,并且占用内存。
  关闭AOF和RDB

 

关闭rdb的命令:config set save ""
关闭aof的命令:config set appendfsync no 

  删除

 

redis-cli keys "test_tc_*" | xargs redis-cli -n 5 del

  在执行完以后,我们再次通过info查看内存占用,发现释放了3G以上的空间,说明我们的思路是对的,接下来就是写java代码,在线上清理这key

Java代码

 

package com.tcredit.clean;

import com.google.common.base.Strings;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.Resource;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;

/**
 * Redis清理任务
 *
 * @author Lingyun
 * @Date 2019-01-07 11:11
 */
@Slf4j
@Component
public class CleanTask {

    @Autowired
    RedisTemplate<String, String> redisTemplate;

    @Scheduled(cron = "0 35 16 9 1 ?")
    public void taskCleanRedis() {
        log.info("Redis-Clean Start!");
        action();
        log.info("Redis-Clean Finish!");
    }

    private void action() {
        Resource resource = new ClassPathResource("keys.txt");
        BufferedReader br = null;

        try {
            br = new BufferedReader(new InputStreamReader(resource.getInputStream()));

            String key = null;
            List<String> rKeys = new ArrayList<>();
            int num = 0;
            int total = 0;
            while ((key = br.readLine()) != null) {
                key = key.trim();
                if (Strings.isNullOrEmpty(key)) {
                    continue;
                }
                rKeys.add(key);
                num++;
                total++;
                // 每秒删除40个key
                if (num >= 120) {
                    log.info(String.format("Redis-Clean 最后一个Key: %s , 当前删除:%s ", key, total));
                    deleteKeys(rKeys);
                    num = 0;
                }
            }
        } catch (Exception e) {
            log.error("Redis-Clean Error", e);
        } finally {
            try {
                if (br != null) {
                    br.close();
                }
            } catch (IOException e) {
                log.error("Redis-Clean Error", e);
            }
        }
    }

    private void deleteKeys(List<String> keys) throws Exception {
        try {
            redisTemplate.delete(keys);
            keys.clear();
            Thread.sleep(1000);
        } catch (Exception e) {
            log.error("Redis-Clean Error:", e);
            Thread.sleep(60000);
        }
    }

}

  在线上删除key时一定要控住删除的速度,以防影响线上业务,我们刚开始时是每秒删除40个key,在测试多个批次后稳定在每秒删除120key是较为好的,但是每个公司的环境是不一样的,大家在删除时,可以先小批量的删除,比如先删除10万个,并且同时监控Redis的网络延时,以防删除过快导致线上业务出现延迟现象

 

检测网路延时
Redis-cli --latency -h 127.0.0.1 -p 6379

  并且同时要关注Redis执行时长最长的十个操作是否执行时间出现异常

 

redis 127.0.0.1:6379> slowlog get 10

内存碎片率

  如果你看到这一步,说明Redis内存已经降下来了,但是随之而来的问题就是,Redis 3.x版本是没有内存释放的功能的,在内存清理后,我们线上的Redis内存碎片率已经接近了3,唯一的解决方案就是重启。
  最好的办法就是从机重启,然后手动主从切换,这样内存碎片率就会恢复正常,但是我们并没有这么操作,因为Redis所在的物理机只有Redis一个应用,过高的内存碎片率并不影响Redis提供正常服务,而且手动主从切换,是有数据丢失风险的。

简述

  至此Redis的内存分析和清理就结束了,希望各位Coder喜欢。


转载自: 
作者:凌云_00
链接:https://www.jianshu.com/p/a8bc8ffe1018
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值