linux下批量删除redis集群中指定前缀的key

在redis集群的维护中，我们可能需要批量删除某个固定前缀的key。来降低redis的内存使用空间或者是清理无用的垃圾数据。

在一次维护工作中，我就接收到这样的工作，当时就写了两个脚本来完成的，下面给大家介绍一下。

一、首先是找出指定前缀的key

********操作时候注意脚本中写死的路径，根据你自己的情况调整*******

1、先将指定的key查询出来，每个主节点都查一下，将查询结果保存在指定文件中

a>查询key使用这个脚本：findFixKey.sh

b>进入findFixKey.sh所在目录中去，执行下面这个命令
nohup ./findFixKey.sh "TEAMINFO_2018*" "TEAMINFO_2018" >>findFixKey.log 2>&1 &

说明：
TEAMINFO_2018* 是指查找 以 TEAMINFO_2018 开头的key
TEAMINFO_2018  将查询出来的key保存在以 TEAMINFO_2018 开头的文件中
findFixKey.log 将脚本中echo的输出，以及脚本中命令执行结果的输出，都保存进findFixKey.log日志文件中

c>然后可以滚动查看脚本执行日志
tail -f findFixKey.log

d>生成文件如下

-rw-r----- 1 bigdata bigdata   2632599 Sep 19 11:25 TEAMINFO_2018#10.126.165.202_6379
-rw-r----- 1 bigdata bigdata   2623482 Sep 19 11:25 TEAMINFO_2018#10.126.165.203_6380
-rw-r----- 1 bigdata bigdata   2625382 Sep 19 11:25 TEAMINFO_2018#10.126.165.203_6381
-rw-r----- 1 bigdata bigdata   2632637 Sep 19 11:25 TEAMINFO_2018#10.126.165.203_6383
-rw-r----- 1 bigdata bigdata   2622722 Sep 19 11:25 TEAMINFO_2018#10.126.165.204_6379
-rw-r----- 1 bigdata bigdata   2611320 Sep 19 11:25 TEAMINFO_2018#10.126.165.204_6380
-rw-r----- 1 bigdata bigdata   2620669 Sep 19 11:25 TEAMINFO_2018#10.126.165.205_6381
-rw-r----- 1 bigdata bigdata   2630738 Sep 19 11:25 TEAMINFO_2018#10.126.165.206_6382
-rw-r----- 1 bigdata bigdata   2613829 Sep 19 11:25 TEAMINFO_2018#10.126.165.206_6383

脚本findFixKey.sh，内容如下：

#!/bin/bash

##随便登录集群中的一个节点，然后识别出所有的主节点
my_array=`/usr/local/bin/redis-cli -c -h 10.126.165.202 -p 6379 cluster nodes |grep master |awk '{print $2}'`
echo "master node is as follows:"
echo "$my_array"
echo "-------------------------------------"

##计数使用
num=1

##循环每个主节点, 找出指定的key
for a in $my_array
do
    echo "第$num个master node: $a"
    
    ##将 10.126.165.202:6379 拆成 10.126.165.202 与 6379
    OLD_IFS="$IFS" 
    IFS=":" 
    arr=($a) 
    IFS="$OLD_IFS" 
    ##echo "${arr[0]}=${arr[1]}"
    
    ##$1 传递key名称的模糊查询  $2 传递文件名称,可以用key做文件名称的前缀
    /usr/local/bin/redis-cli -c -h "${arr[0]}" -p ${arr[1]} KEYS "$1" >>/home/bigdata/$2#${arr[0]}_${arr[1]}
    
    num=$((num+1))
done

二、删除已经找出的key

1、文件找出来之后，我们就循环处理，挨个读取文件中的行数据(key)进行删除

a>删除使用这个脚本文件：forFileDelKey.sh

b>进入forFileDelKey.sh所在目录中去，执行下面这个命令
nohup ./forFileDelKey.sh "TEAMINFO_2018*"  >>forFileDelKey.log 2>&1 &

说明：
TEAMINFO_2018* 是查找key那步操作生成文件名称的开头部分
forFileDelKey.log 将脚本中echo的输出，以及脚本中命令执行结果的输出，都保存进forFileDelKey.log 日志文件中

c>然后可以滚动查看脚本执行日志
tail -f forFileDelKey.log

脚本forFileDelKey.sh，内容如下：

#!/bin/bash

##根据传递的模糊文件名查找匹配的所有文件
my_array=(`ls $1`)
echo "-----${my_array[@]}"

count="${#my_array[*]}"

if [ $count -gt 0 ];then
    for a in ${my_array[@]}
    do

        TODAY=`date "+%Y-%m-%d %H:%M:%S"`
        echo "----------------------------------$TODAY-------------------------------start"

        echo "The filename is: $a"

        #TEAMINFO_2018#10.126.165.202_6379
        #截取文件名中的 ip 和 端口，以达到key在哪个主节点中就进入哪个主节点中删除
        ipV=`echo $a |awk -F "#" '{print $NF}'|awk -F "_" '{print $1}'`
        portV=`echo $a |awk -F "#" '{print $NF}'|awk -F "_" '{print $2}'`
        
        ##计数使用
        num=1

        while read line
        do
            echo "---文件$a---的第$num个key:$line"

            if [ $line ];then
                echo "第$num行key为:$line"

                /usr/local/bin/redis-cli -c -h $ipV -p $portV del "$line" ##删除命令
            else
                echo "第$num行为空"
            fi

            num=$((num+1))

        done < $a
        echo "----------------------------------$TODAY-------------------------------end"    
    done
else
    echo "没有以$1开头的文件，请核实..."
fi