1亿数据 redis 内存_redis 数据内存占用分析实战

一、查看单个redis key占用的空间 -- redis-memory-for-key -s ${host} -p ${port} key_name

redis-memory-for-key -s 10.1.213.170 -p 9002 test

如果redis是用的集群，找到key的槽位所在的节点，port用对应的节点即可。

二、统计redis key 占用及分布

a、第一步：拉取 rdb 二进制文件(rdb文件既redis的db文件)

redis-cli -c -h ${ip} -p ${port} --rdb ${d}.${ip}.${port}.rdb

b、解析 rdb 文件为文本，格式内容为：

rdb -c memory  ${rdbfile} > ${redkfile}

// 解析后redkfile文件的格式
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element

c、 awk 统计key的内存分布 (需要预先配置前缀与描述，如果没有统计到的会打印出来)

detail.sh ${redkfile} > ${statfile}

附上脚本 detail.sh

#!/bin/sh
filename=$1
cat  ${filename} | awk -F ',' '
BEGIN{
    total=0;
    indice["trash"]="测试分类 test@test@test";

    for (k in indice) {
        split(indice[k], ks, " ")
        desc[k]=ks[1]
        indices[k]=ks[2]
    }
}
{
    size=$4
    redkey=$3
    total+=size
    found=0
    regNumber="^[0-9]+$"

      for (k in indices) {
        if ( index(redkey, indices[k])==1 ) {
            sizes[k]+=size;
            lens[k]+=1;
            found=1
            break;
          }
        }
      if (found==0) {
          print size, redkey
      }
}
END{
    total_matched=0
    total_matched_len=0
    for (k in sizes) {
        print desc[k], indices[k], sizes[k], lens[k]
        total_matched+=sizes[k]
        total_matched_len+=lens[k]
    }
    print "total_matched", "-", total_matched, total_matched_len
    print "total", "-", total, NR
    print "missing", "-", total - total_matched, NR-total_matched_len
}' |
cat