Redis 日常运维脚本更新（增加单节点相关功能）

最新推荐文章于 2023-06-15 14:06:00 发布
最新推荐文章于 2023-06-15 14:06:00 发布
阅读量429 收藏 2
点赞数
分类专栏： redis 文章标签： redis 运维 nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jlh21/article/details/125024786
版权

需求背景

此脚本最初编写是为了方便 Redis 集群日常维护，没有考虑 Redis 单节点情况。

PS: 最近刚好碰到，继续维护兼容下-。

单节点指定库

$ redis-cli -c -h 127.0.0.1 -p 8001 -a daodaotest -n 10

知识点： 单节点默认 16 个数据库（db0~db15），集群版仅 db0 库。

变更记录

  • Version 0.0.3 2022/05/28

    • 增加 支持 Redis 单节点 key 查询、key 删除等功能

  • Version 0.0.2 2020/05/16

    • 修正 inputYN 多次回车，导致参数丢失问题
    • 修正 部分描述信息，调整格式等
    • 增加 “批量删除 key，支持正则表达式” 方法

  • Version 0.0.1 2020/04/26

    • 创建 Redis 集群情况查询、key 查询、key 删除等功能脚本

选项

sh ${SCRIPT_NAME} [options] <value> ...

    -h<value>, --host=<value>            Redis IP，可设置默认值参数：HOST
    -p<value>, --port=<value>            Redis 端口，可设置默认值参数：PORT
    -a<value>, --password=<value>        Redis 密码，可设置默认值参数：PASSWORD
    -n<value>, --number=<value>          单节点时,指定连接的数据库,如：0~15
    -c<value>, --cluster=<value>         集群相关命令，如：nodes, info
    -k<pattern>, --keys=<pattern>        查询 key，支持正则表达式
    -g<value>, --get=<value>             获取指定 key 的值
    -d<value>, --del=<value>             删除指定 key，不支持正则表达式，原因：redis 的 del 命令不支持正则表达式
    -b<pattern>, --bdel=<pattern>        批量删除 key，支持正则表达式
    -f, --flushall                       删除所有 key
    --help                               帮助信息
    -v, --version                        版本信息

示例

redis key示例数据格式：
       "party::123"
       "party::456"

1. 查询集群信息，使用默认参数
sh redis-tools.sh -c info

2. 查询集群节点
sh redis-tools.sh -h 127.0.0.1 -p 8001 -a password -c nodes

3. 查询 key，支持正则表达式
sh redis-tools.sh -k "party::123"
sh redis-tools.sh -k "party*"
sh redis-tools.sh -n 10 -k "party::123"
sh redis-tools.sh -n 10 -k "party*"

4. 获取指定 key 值
sh redis-tools.sh -g "party::123"
sh redis-tools.sh -n 10 -g "party::123"

5. 删除指定 key，不支持正则表达式，原因：redis 的 del 命令不支持正则表达式
sh redis-tools.sh -d "party::123"
sh redis-tools.sh -n 10 -d "party::123"

6. 批量删除 key，支持正则表达式
sh redis-tools.sh -b "party::123"
sh redis-tools.sh -b "party*"
sh redis-tools.sh -n 10 -b "party::123"
sh redis-tools.sh -n 10 -b "party*"

7. 删除所有 key
sh redis-tools.sh -f

脚本

#!/bin/bash
#================================================================
# HEADER
#================================================================
#    Filename         redis-tools.sh
#    Revision         0.0.3
#    Date             2020/04/26
#    Author           jiangliheng
#    Email            jiang_liheng@163.com
#    Website          https://github.com/jiangliheng/ops-scripts
#    Description      Redis 日常运维脚本
#    Copyright        Copyright (c) jiangliheng
#    License          GNU General Public License
#
#================================================================
# Version 0.0.3 2022/05/28
#     增加 支持 Redis 单节点 key 查询、key 删除等功能
#
#  Version 0.0.2 2020/05/16
#     修正 inputYN 多次回车，导致参数丢失问题
#     修正 部分描述信息，调整格式等
#     增加 “批量删除 key，支持正则表达式” 方法
#
#  Version 0.0.1 2020/04/26
#     创建 Redis 集群情况查询、key 查询、key 删除等功能脚本
#
#================================================================
#%名称(NAME)
#%       ${SCRIPT_NAME} - Redis 日常运维脚本
#%
#%概要(SYNOPSIS)
#%       sh ${SCRIPT_NAME} [options] <value> ...
#%
#%描述(DESCRIPTION)
#%       Redis 日常运维脚本
#%
#%选项(OPTIONS)
#%       -h<value>, --host=<value>            Redis IP，可设置默认值参数：HOST
#%       -p<value>, --port=<value>            Redis 端口，可设置默认值参数：PORT
#%       -a<value>, --password=<value>        Redis 密码，可设置默认值参数：PASSWORD
#%       -n<value>, --number=<value>          单节点时,指定连接的数据库,如：0~15
#%       -c<value>, --cluster=<value>         集群相关命令，如：nodes, info
#%       -k<pattern>, --keys=<pattern>        查询 key，支持正则表达式
#%       -g<value>, --get=<value>             获取指定 key 的值
#%       -d<value>, --del=<value>             删除指定 key，不支持正则表达式，原因：redis 的 del 命令不支持正则表达式
#%       -b<pattern>, --bdel=<pattern>        批量删除 key，支持正则表达式
#%       -f, --flushall                       删除所有 key
#%       --help                               帮助信息
#%       -v, --version                        版本信息
#%
#%示例(EXAMPLES)
#%       redis key示例数据格式：
#%              "party::123"
#%              "party::456"
#%
#%       1. 查询集群信息，使用默认参数
#%       sh ${SCRIPT_NAME} -c info
#%
#%       2. 查询集群节点
#%       sh ${SCRIPT_NAME} -h 127.0.0.1 -p 8001 -a password -c nodes
#%
#%       3. 查询 key，支持正则表达式
#%       sh ${SCRIPT_NAME} -k "party::123"
#%       sh ${SCRIPT_NAME} -k "party*"
#%       sh redis-tools.sh -n 10 -k "party::123"
#%       sh redis-tools.sh -n 10 -k "party*"
#%
#%       4. 获取指定 key 值
#%       sh ${SCRIPT_NAME} -g "party::123"
#%       sh redis-tools.sh -n 10 -g "party::123"
#%
#%       5. 删除指定 key，不支持正则表达式，原因：redis 的 del 命令不支持正则表达式
#%       sh ${SCRIPT_NAME} -d "party::123"
#%       sh ${SCRIPT_NAME} -n 10 -d "party::123"
#%
#%       6. 批量删除 key，支持正则表达式
#%       sh ${SCRIPT_NAME} -b "party::123"
#%       sh ${SCRIPT_NAME} -b "party*"
#%       sh ${SCRIPT_NAME} -n 10 -b "party::123"
#%       sh ${SCRIPT_NAME} -n 10 -b "party*"
#%
#%       7. 删除所有 key
#%       sh ${SCRIPT_NAME} -f
#%
#================================================================
# END_OF_HEADER
#================================================================

# header 总行数
SCRIPT_HEADSIZE=$(head -200 "${0}" |grep -n "^# END_OF_HEADER" | cut -f1 -d:)
# 脚本名称
SCRIPT_NAME="$(basename "${0}")"
# 版本
VERSION="0.0.3"

# 默认 host
HOST=127.0.0.1
# 默认 port
PORT=8001
# 默认 password
PASSWORD=password
# 默认选择 0 库
DATABASE=0

# usage
usage() {
  head -"${SCRIPT_HEADSIZE:-99}" "${0}" \
  | grep -e "^#%" \
  | sed -e "s/^#%//g" -e "s/\${SCRIPT_NAME}/${SCRIPT_NAME}/g" -e "s/\${VERSION}/${VERSION}/g"
}

# redis-cli 方法
cli() {
  printf "\033[36mredis-cli -c -h %s -p %s -a %s -n %s %s \"%s\" \033[0m\n\n" "${HOST}" "${PORT}" "${PASSWORD}" "${DATABASE}" "$1" "$2"
  eval redis-cli -c -h "${HOST}" -p "${PORT}" -a "${PASSWORD}" -n "${DATABASE}" "$1" \""$2"\"
}

# clusterCli 方法
clusterCli() {
  printf "\033[36mredis-cli -c -h %s -p %s -a %s -n %s cluster %s \033[0m\n\n" "${HOST}" "${PORT}" "${PASSWORD}" "${DATABASE}" "$1"
  eval redis-cli -c -h "${HOST}" -p "${PORT}" -a "${PASSWORD}" -n "${DATABASE}" cluster "$1"
}

# 查询 master 节点
masterNodes() {
  masterNodes=$(clusterCli nodes | awk '{if($3=="master" || $3=="myself,master") print $2}' | awk -F@ '{print $1}')
  if [[ "X${masterNodes}" == "X"  ]];
  then
    masterNodes="${HOST}:${PORT}"
  fi
  printf "\033[36mRedis master nodes: \n%s\n\033[0m" "${masterNodes}"
}

# 清理所有 key
flushallCli() {
  masterNodes

  # 循环清理
  for master in ${masterNodes}
  do
    thost=${master%:*}
    tport=${master#*:}
    printf "\033[36m\nredis-cli -c -h %s -p %s -a %s -n %s flushall \033[0m\n" "${thost}" "${tport}" "${PASSWORD}" "${DATABASE}"
    eval redis-cli -c -h "${thost}" -p "${tport}" -a "${PASSWORD}" -n "${DATABASE}" flushall
  done
}

# 查询 key
keysCli() {
  masterNodes

  # 循环查询 key
  for master in ${masterNodes}
  do
    thost=${master%:*}
    tport=${master#*:}
    printf "\033[36m\nredis-cli -c -h %s -p %s -a %s -n %s keys \"%s\" \033[0m\n" "${thost}" "${tport}" "${PASSWORD}" "${DATABASE}" "$1"
    eval redis-cli -c -h "${thost}" -p "${tport}" -a "${PASSWORD}" -n "${DATABASE}" keys \""$1"\"
  done
}

# 批量删除相同前缀的 key，支持正则表达式
bdelCli() {
  masterNodes

  # 循环查询 key
  for master in ${masterNodes}
  do
    thost=${master%:*}
    tport=${master#*:}
    printf "\033[36m\nredis-cli -h %s -p %s -a %s -n %s --scan --pattern \"%s\" | xargs -L 1 redis-cli -h %s -p %s -a %s -n %s del\033[0m\n" "${thost}" "${tport}" "${PASSWORD}" "$1" "${thost}" "${tport}" "${PASSWORD}" "${DATABASE}"
    eval redis-cli -h "${thost}" -p "${tport}" -a "${PASSWORD}" -n "${DATABASE}" --scan --pattern \""$1"\" | xargs -L 1 redis-cli -h "${thost}" -p "${tport}" -a "${PASSWORD}" -n "${DATABASE}" del
  done
}

# 操作确认
inputYN() {
  read -r -p "是否继续 \"$1\" 操作(y/n)：" choose
  case "${choose}" in
    [yY])
      return 0
      ;;

    [nN])
      exit 1
      ;;

    *)
      inputYN "$1"
      ;;
  esac
}

# 判断参数个数
if [ $# -eq 0 ];
then
  usage
  exit 1
fi

# getopt 命令行参数
if ! ARGS=$(getopt -o vfh:p:n:a:g:d:c:k:b: --long flushall,help,version,host:,port:,number:,password:,get:,del:,bdel:,password:,cluster:,keys: -n "${SCRIPT_NAME}" -- "$@")
then
  # 无效选项，则退出
  exit 1
fi

# 命令行参数格式化
eval set -- "${ARGS}"

while [ -n "$1" ]
do
  case "$1" in
    -a|--password)
      PASSWORD=$2
      shift 2
      ;;

    -h|--host)
      HOST=$2
      shift 2
      ;;

    -p|--port)
      PORT="$2"
      shift 2
      ;;

    -n|--number)
      DATABASE="$2"
      shift 2
      ;;

    -c|--cluster)
      clusterCli "$2"
      exit 1
      ;;

    -g|--get)
      cli get "$2"
      exit 1
      ;;

    -d|--del)
      # 先显示内容
      cli get "$2"
      # 确认是否删除
      inputYN "del"
      # 删除
      cli del "$2"
      exit 1
      ;;

    -k|--keys)
      keysCli "$2"
      exit 1
      ;;

    -b|--bdel)
      # 先显示匹配项
      keysCli "$2"
      # 确认是否删除
      inputYN "batch del"
      # 删除
      bdelCli "$2"
      exit 1
      ;;

    -f|--flushall)
      # 确认是否删除
      inputYN "flushall"
      # 删除所有 key
      flushallCli
      exit 1
      ;;

    -v|--version)
      printf "%s version %s\n" "${SCRIPT_NAME}" "${VERSION}"
      exit 1
      ;;

    --help)
      usage
      exit 1
      ;;

    --)
      shift
      break
      ;;

    *)
      printf "%s is not an option!" "$1"
      exit 1
      ;;

  esac
done

微信公众号：daodaotest

叨叨软件测试
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
一文教你Redis Cluster批量操作的所有姿势(附代码实操)
weixin_45563088的博客
03-18 1741
Redis Cluster 批量操作Key 技巧，用多种方式提供了批量操作的思路，各位可以根据自己的业务量级来选择合适的方法。
缓存问题解决方案及Redis批量操作优化
长沙老码农
02-03 3461
目录 1.1 缓存穿透 1.1.1 缓存空数据 1.1.2 谷歌BloomFilter（布隆过滤器） 1.1.3 Redis实现布隆过滤器 1.2 缓存击穿 1.2.1 互斥锁 1.2.3 热点数据永不过期 1.3 缓存雪崩 2、批量操作优化 2.1 批量命令（multi） 2.2 管道（pipelining） 2.3 事务（transaction） 2.4 LUA脚本 2.4.1 LUA简介 2.4.2 lua 安装和helloworld 2.4.3 lua批量查询 .
Redis 如何使用批量操作提高效率？
2301_78588786的博客
06-15 756
就比如说，你需要将前一个命令的结果给后续的命令使用，pipeline 就没办法满足你的需求了。当客户端发送命令请求的时候，需要先根据 key 通过上面的计算公示找到的对应的哈希槽，然后再查询哈希槽和节点的映射关系，即可找到目标 Redis 节点。并且，Lua 脚本中支持一些简单的逻辑处理比如使用命令读取值并在 Lua 脚本中进行处理，这同样是 pipeline 所不具备的。不过， Redis Cluster 下 Lua 脚本的原子操作也无法保证了，原因同样是无法保证所有的 key 都在同一个。
redis集群部署＜create-cluster官方脚本版＞
dabaixiaohei的博客
05-08 232
通过官方create-cluster脚本部署redis集群
redis集群支持批量操作命令吗
小泽
02-18 192
redis
redis学习资料，运维开发设计实现
最新发布
06-12
列表可用于实现队列或栈的功能，集合则用于不重复元素的存储，有序集合则在此基础上增加了元素排序功能。 二、Redis安装与配置 在开始学习Redis之前，你需要了解如何在不同的操作系统上安装Redis，如Linux、Windows...
运维离线搭建Redis集群
12-14
在运维工作中，构建Redis集群是一项重要的任务，尤其是在大型系统中，Redis作为高性能的键值存储数据库，常用于缓存、消息队列等场景。本文将详细介绍如何在CentOS系统上离线搭建Redis集群。 首先，我们需要理解...
redis sentinel api脚本
04-25
Redis Sentinel 主从部署 使用Python脚本获取Redis主从节点信息
Redis集群管理脚本
08-14
7. 配置更新：集群的配置参数可以通过脚本统一修改，确保所有节点同步更新。 在实际应用中，我们需要注意以下几点： 1. 集群通信：所有节点之间通过gossip协议交换信息，用于保持节点间的通信和槽的状态同步。 2....
Redis开发与运维1
08-03
Redis集群9.1　为什么要集群9.2　集群模式9.2.1　主从模式9.2.2　哨兵模式9.2.3　Cluster模式9.3　搭建集群9.3.1　手动搭建9.3.2　自动搭建9.4　集群操作9.4.1　添加节点9.4.2　移除节点9.4.3　故障转移9.5　集群...
通过shell脚本批量处理Redis的永久key
dsen726的博客
12-20 1291
一、前言 由于代码BUG原因，未设置给Redis的key设置过期时间，并且未配置Redis淘汰策略，长期导致环境服务器Redis占内存过大。 二、处理过程 1.环境数据分析 通过分析测试环境redis的数据，永久key数据如下： CITICS_TRAIL_USER_X…（省略了） CITICS_TRAIL_USER_X… CiticsFundWholeIndustryX… HistoryProd...
redis集群批量删除指定的key
Purse的博客
07-02 1万+
工作中遇到一个问题,redis中存储了大量的key,而且没有设置时效,其中很大一部分后来都没用了,导致redis体积庞大,查询缓慢。服务器版本为windows,网上搜索到很多批量删除的方法都是Linux下的,几番寻找,终于找到了在windows下批量删除超大量key的方法。 首先贴一下Linux下的方法: redis-cli keys"*" |xargs redis-cli del...
Redis中的批量操作Pipeline
泯灭于众生，高歌于孤夜！
02-20 360
单机 使用正常和pipeline的简单对比 public class PiplineTest { private static int count = 10000; public static void main(String[] args){ useNormal(); usePipeline(); } public static void usePipeline(){ ShardedJedis jedis = getS
redis批量操作及性能分析
天使也掉毛
12-24 1168
redis批量操作及性能分析 用过redis的小伙伴都知道，这东西是C/S的，就单纯的ser key vvv 就要走一次TCP，记得官方是说redis的qps将近10W，这...我不太敢相信，一秒钟之内对一个服务10W次TCP会啥样，当然可以走集群负载均衡，把Redis分片了，但是分片的话又会设计到很多东西，之前我整理过，想了解的看下这: https://blog.csdn.net/u01376...
redis集群开机自启脚本编写
wyysblack的博客
07-03 331
redis集群开机自启脚本编写 首先 搭建好redis集群 可参考我上一篇。 接下来： ①、在redis-cluster文件夹下创建.sh脚本文件 ,文件名自拟.（例：touch startuprediscluster.sh）。编辑脚本文件（vi startuprediscluster.sh）,在其中写如下命令（命令即进入redis集群各节点，开启redis）： #! /bin/bash cd /root/redis-4.0.6/redis-cluster/6380 redis-server redis
redis-cluster官方集群模式下使用pipeline批量操作
热门推荐
kevin_pso的博客
12-30 1万+
         redis从3.0版本后引入了令人兴奋的cluster集群模式，相信很多人都尝试过了，在高兴之余却发现redis官方的cluster对于java客户端的jedis支持却不是很好，至少目前的版本cluster是不支持直接使用pipeline操作，找了好久，终于找到一些几个在官方cluster模式下支持使用pipeline管道操作的方法。 http://www.bubuk
redis批量操作心得
谢少龙
04-27 5544
经验：redis集群用不了管道（当然你可以根据key，算出相同服务器IP地址，然后。。。）。其实redis集群，也没必要用管道了，不过太多循环也不好（100左右刚好）。for($i=0;$i&lt;=100;$i++){    $redis-&gt;get('xxx'.$i);}单机的话，用管道会比一个个循环快6倍左右。当然用mget等也可以，而且mget比pipline更快。$replies ...
在Redis集群中使用pipeline批量插入
weixin_30594001的博客
09-21 527
由于项目中需要使用批量插入功能, 所以在网上查找到了Redis 批量插入可以使用pipeline来高效的插入, 示例代码如下: String key = "key"; Jedis jedis = new Jedis("xx.xx.xx.xx"); Pipeline p = jedis.pipelined(); List<String> myData = .... //...
shell脚本批量执行redis写入操作
xiaobao5214的博客
09-19 1万+
#!/bin/bash while read line do echo $line | redis-cli -h 192.168.1.13 -p 6379 -c sleep 0.005 done &lt; redis.txt 每次执行一条命令睡眠5毫秒
redis cluster 运维
07-13
对于 Redis Cluster 的运维，可以考虑以下几个方面： 1. 部署和配置：首先，你需要在多个节点上部署 Redis 服务器，并配置它们以形成一个集群。可以使用 Redis 官方提供的 redis-trib.rb 脚本来进行集群的创建和配置。确保节点之间的网络连接正常，并且节点之间的配置文件中包含正确的集群相关信息。 2. 监控和报警：定期监控 Redis Cluster 的状态是非常重要的。你可以使用监控工具来监控 Redis 节点的 CPU、内存、网络等指标，并设置报警规则以便及时发现和解决问题。一些常用的监控工具包括 Redis Sentinel、Prometheus、Grafana 等。 3. 数据备份和恢复：定期备份 Redis Cluster 的数据是保证数据安全的重要手段之一。可以使用 Redis 自带的持久化功能（如 RDB 和 AOF），也可以结合其他工具（如 rdbtools 或者 Redis 备份工具）来进行备份。在数据丢失或节点故障时，可以通过备份数据进行恢复。 4. 扩容和缩容：当集群需要扩容或缩容时，需要进行相应的操作。对于扩容，可以通过添加新的节点来增加集群的容量；对于缩容，可以将一个节点从集群中移除。在进行扩容和缩容操作时，需要注意数据迁移和集群重新平衡的过程。 5. 故障处理和恢复：在 Redis Cluster 运行过程中，可能会出现节点故障、网络故障等问题。当发生故障时，需要及时发现问题、排查原因，并进行相应的修复操作，确保集群的可用性和稳定性。 以上是对 Redis Cluster 运维的一些基本方面的介绍，希望能对你有所帮助。如果你有具体的问题或者需要更多的信息，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叨叨软件测试

不敢奢望赞赏，只求点赞关注~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值