Redis日志按天切割并压缩存储本地磁盘及日志备份文件定时清理

已于 2022-06-13 15:36:56 修改
阅读量1w 收藏 24
点赞数 6
分类专栏： Linux运维 文章标签： redis 缓存 linux 运维开发 服务器
于 2022-06-13 15:32:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanglm_OneWholeLife/article/details/125239390
版权

目录

一、概述

二、需求

三、具体操作

1、在redis.conf配置文件找到logfile,并添加日志文件存储路径

2、编写自动切割日志脚本

1）方式一（备份日志同时删除原日志文件方式）

 2）方式二（备份日志但原日志文件不删除只清空当前日志内容，释放空间）

3、编写清理备份日志脚本

1）方式一（删除文件夹方式）

1）方式二（删除文件方式）

4、配置定时任务

5、取消定时任务

四、日志备份及清理各脚本文件下载

一、概述

在默认情况，redis是不会自动生成日志文件的，因为在redis.conf中默认logfile为""即不生成日志文件，所以对于有需要存储redis日志的，需要自己在redis.con文件中手动配置日志存储路径即配置logfile字段值。

二、需求

需要生成redis日志同时对redis日志按天存储本地磁盘，每天归档上一天日志并对备份日志进行压缩存储，redis不重启不阻塞。

三、具体操作

1、在redis.conf配置文件找到logfile,并添加日志文件存储路径

vi /data/redis-6.2.7/redis.conf

2、编写自动切割日志脚本

1）方式一（备份日志同时删除原日志文件方式）

创建日志备份脚本

touch /data/redis_split_logs.sh-------------------创建日志备份脚本             

chmod a+x /data/redis_split_logs.sh------------执行权限赋予

vi /data/redis_split_logs.sh-------------------------增加脚本内容如下

备份格式：/data/logs/redislogsback/20220610/20220610.tar.gz

备份日志保存格式一脚本如下：

#!/bin/bash
# 备份redis的日志

# 昨天的日期
file_date=$(date -d"1 day ago" +"%Y%m%d")
echo ${file_date}

#redis log的路径
log_path_redis=/data/redis-6.2.7/logs

# ===================backup dir name========================

back_base=/data/logs/redislogsback
date_year=$(date -d"1 day ago" +"%Y")
date_month=$(date -d"1 day ago" +"%m")
date_day=$(date -d"1 day ago" +"%d")
back_path=${back_base}/${date_year}${date_month}${date_day}
echo ${back_path}

# ===================mkdir back_path========================

if [ -d ${back_path} ];then
        echo 目录已经存在，不能重复创建
else
        mkdir -p ${back_path}
fi

# =================== 备份redis log ========================

cd ${log_path_redis}
for file in $(ls *log);
do
    mv ${file} ${back_path}/${file}_${file_date}
done

# =================== 备份日志压缩 ========================

cd ${back_path}
tar -zcvf ${file_date}.tar.gz ./*.log_${file_date}
rm -f *.log_${file_date}

 备份格式：/data/logs/redislogsback/20220610.tar.gz

备份日志保存格式二脚本如下：

#!/bin/bash
# 备份redis的日志

# 昨天的日期
file_date=$(date -d"1 day ago" +"%Y%m%d")
echo ${file_date}

#redis log的路径
log_path_redis=/data/redis-6.2.7/logs

# ===================backup dir name========================

back_base=/data/logs/redislogsback
echo ${back_base}

# ===================mkdir back_base========================

if [ ! -d ${back_base} ];then
        mkdir -p ${back_base}
fi

# =================== 备份redis log ========================

cd ${log_path_redis}
for file in $(ls *log);
do
    mv ${file} ${back_base}/${file}_${file_date}
done

# =================== 备份日志压缩 ========================

cd ${back_base}
tar -zcvf ${file_date}.tar.gz ./*.log_${file_date}
rm -f *.log_${file_date}

 2）方式二（备份日志但原日志文件不删除只清空当前日志内容，释放空间）

创建日志备份脚本

touch /data/redis_split_logs.sh-------------------创建日志备份脚本             

chmod a+x /data/redis_split_logs.sh------------执行权限赋予

vi /data/redis_split_logs.sh-------------------------增加脚本内容如下

备份格式：/data/logs/redislogsback/20220610.tar.gz

备份日志脚本如下：

#!/bin/sh
# 备份redis的日志

# 昨天的日期
file_date=$(date -d"1 day ago" +"%Y%m%d")
echo ${file_date}
#redis log的路径
log_path_redis=/data/redis-6.2.7/logs

# ===================backup dir name========================

back_base=/data/logs/redislogsback
echo ${back_base}

# ===================mkdir back_base========================

if [ ! -d ${back_base} ];then
        mkdir -p ${back_base}
fi

# =================== 备份redis log ========================

cd ${log_path_redis}
for file in $(ls *log);
do
    # 日志备份
    cp ${file} ${back_base}/${file}_${file_date}
    # 清空当前 日志，释放空间
    cat /dev/null > ${file}
done

# =================== 备份日志压缩 ========================

cd ${back_base}
tar -zcvf ${file_date}.tar.gz ./*.log_${file_date}
rm -f *.log_${file_date}

3、编写清理备份日志脚本

1）方式一（删除文件夹方式）

  • 使用find命令方式

   创建日志备份清理脚本

touch /data/find_delete_folder.sh-------------------创建日志备份脚本             

chmod a+x /data/find_delete_folder.sh------------执行权限赋予

vi /data/find_delete_folder.sh-------------------------增加脚本内容如下

    备份日志清理脚本如下：

#!/bin/sh
# 日志备份路径
back_base=/data/logs/data/logs/redislogsback
echo ${back_base}
#删除文件夹
find $back_base -type d -mtime +15 -exec rm -rf {} \;

参数解释：

$back_base --设置查找的备份日志目录；
-mtime +15 --设置修改时间为15天前；
-type d       --设置查找的类型为文件；其中f为文件，d则为文件夹
-exec rm -rf --查找
 {} \; --固定写法

  • 非find命令方式

创建日志备份清理脚本

touch /data/delete_redis_folder.sh-------------------创建日志备份脚本             

chmod a+x /data/delete_redis_folder.sh------------执行权限赋予

vi /data/delete_redis_folder.sh-------------------------增加脚本内容如下

    备份日志清理脚本如下：

#!/bin/sh
function deletedir(){
    ago_file=$(date -d '3 days ago' +%Y%m%d)
        dir_or_file=$1
        if [ -d $dir_or_file ]
        then
#            for element_date in `ls $dir_or_file`
            for element_date in $(ls $dir_or_file)
            do
                dir_or_file_date=$dir_or_file"/"$element_date
                if [ -d $dir_or_file_date ]
                then
                        date_file=$(date -d $element_date +%Y%m%d)
                        if [ $date_file -lt $ago_file ]
                        then
                                rm -rf $dir_or_file_date
                        fi
                fi
            done
        fi
}
# 日志备份路径
redislogsbackup="/data/logs/redislogsback"
deletedir $redislogsbackup

1）方式二（删除文件方式）

  • 使用find命令方式

  •    创建日志备份清理脚本

    touch /data/find_delete_logs.sh-------------------创建日志备份脚本             

    chmod a+x /data/find_delete_logs.sh------------执行权限赋予

    vi /data/find_delete_logs.sh-------------------------增加脚本内容如下

        备份日志清理脚本如下：

#!/bin/sh
# 日志备份路径
back_base=/data/logs/redislogsback
echo ${back_base}
# 删除/data/logs/redislogsback目录下所有文件
find $back_base -name -type f "*" -mtime +30 -exec rm -rf {} \;
# 删除/data/logs/redislogsback目录下.tar.gz后缀所有文件
# find $back_base -name -type f "*.tar.gz" -mtime +30 -exec rm -rf {} \;

参数解释：

$back_base --设置查找的备份日志目录；
-mtime +15 --设置修改时间为15天前；
-type d       --设置查找的类型为文件；其中f为文件，d则为文件夹
-name "*" --设置文件名称，可以使用通配符；
-exec rm -rf --查找
 {} \; --固定写法

  • 非find命令方式

  • 创建日志备份清理脚本

    touch /data/delete_redis_logs.sh-------------------创建日志备份脚本             

    chmod a+x /data/delete_redis_logs.sh------------执行权限赋予

    vi /data/delete_redis_logs.sh-------------------------增加脚本内容如下

        备份日志清理脚本如下：

#!/bin/sh
function deletedir(){
    ago_file=$(date -d '3 days ago' +%Y%m%d)
        dir_or_file=$1
        echo ${dir_or_file}
        if [ -d $dir_or_file ];then
        	  cd $dir_or_file
#            for element_date in `ls $dir_or_file`
            for file in $(ls *.tar.gz);do
                echo ${file}
                dir_ago_file_date=${file}
                if [ -f $dir_ago_file_date ];then
                   echo ${dir_ago_file_date}
#                  截取最后一个.前数据
                   dir_or_file_date=${dir_ago_file_date%.*}
                   ago_file_date=${dir_or_file_date%.*}
                   echo ${ago_file_date}
                   date_file=$(date -d $ago_file_date +%Y%m%d)
                   if [ $date_file -lt $ago_file ]
                   then
                           rm -f $file
                   fi
                fi
            done
        fi
}
# 日志备份路径
redislogsbackup="/data/logs/redislogsback"
deletedir $redislogsbackup

4、配置定时任务

1）创建定时任务-crontab:

语法
crontab(选项)(参数)

crontab 常用命令
-e #编辑该用户定时任务
-l #查看该用户定时任务
-r #删除该用户定时任务
-u<用户名称> #指定其他用户

在定时任务中添加执行该脚本（备份脚本和清理脚本）

crontab -e  -----添加定时

这里的设置是每天凌晨0点10分执行redis_split_logs.sh文件进行日志备份任务了，并且不输出任何执行信息。

10 0 * * * /data/redis_split_logs.sh >/dev/null 2>&1

这里的设置是每天凌晨0点30分执行delete_redis_logs.sh文件进行备份日志清理任务了，并且不输出任何执行信息。

30 0 * * * /data/delete_redis_logs.sh >/dev/null 2>&1

参数解析：

*号解释：
第一个*号表示时间中的 分钟  取值范围：0-59；
第二个*号表示时间中的 小时  取值范围：0-23；
第三个*号表示一个月中的第几天，取值范围：1-31；
第四个*号表示一年中的第几个月，取值范围：1-12；
第五个*号表示一个星期中的第几天，以星期天开始依次的取值为0～7，0、7都表示星期天；

参数
/data/delete_redis_logs.sh  表示执行脚本文件路径。
> /dev/null 2>&1  表示不输出任何日志信息。

扩展一下：

  • > /dev/null 2>&1 ， 2>&1  > /dev/null    解释

标准输入0    从键盘获得输入即： /proc/self/fd/0 ；
标准输出1    输出到屏幕（即控制台） 即：/proc/self/fd/1 ；
错误输出2    输出到屏幕（即控制台）即：/proc/self/fd/2；

a）> /dev/null 2>&1 含义如下：

        > /dev/null 相当于 1> /dev/null，就是将标准输出，重定向到 /dev/null ，/dev/null 表示Linux的空设备文件 ，写到里面，就找不着，等于没写，不用挣扎了，真的找不到的。

         2>&1  就是重定向绑定，&是用来连接的，就是绳子，将两个输出（标准输出、错误输出）绑定到一块，一根绳儿上的蚂蚱。这样一来，错误输出，嘿嘿，你也找不到，不需要错误输出。

b）2>&1  > /dev/null 含义如下：

        在执行shell命令之前，默认会确定好输出位置，并从左往右执行重定向命令，所以对于这个来说，错误输出，仍是会输出到屏幕，不会丢弃。

  • >a.log 2>&1  ， 2>&1 >a.log    解释

a）>a.log 2>&1 含义如下：

本来1----->屏幕 （1指向屏幕）。
执行>log后， 1----->log (1指向log)。
执行2>&1后， 2----->1 (2指向1，而1指向log,因此2也指向了log)。

b）2>&1 >a.log 含义如下：

本来1----->屏幕 （1指向屏幕）。
执行2>&1后， 2----->1 (2指向1，而1指向屏幕,因此2也指向了屏幕)。
执行>log后， 1----->log (1指向log，2还是指向屏幕)。

c）>a.log 2>&1 ，>>a.log 2>&1 区别

>a.log 2>&1（ 会清空原有文件的内容，主要用法是： 命令 > 文件 2>&1）。

>>a.log 2>&1（追加到原有文件内容后面，主要用法是：命令 >> 文件 2>&1）。

d）>a.log 2>&1 ，>log 2>&1 & 区别

>log 2>&1 &（最后一个&表示把条命令放到后台执行），>a.log 2>&1 则不会。

2）查看定时任务是否写入成功

crontab -l | grep redis

5、取消定时任务

crontab -r 表示删除用户下的所有定时任务，当执行此命令后，所有用户下面的定时任务会被删除，执行crontab -l后会提示用户：“no crontab for admin”

四、日志备份及清理各脚本文件下载

各脚本文件下载

星星@点点
关注
  • 6
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java获取redis日志信息与动态监控信息的方法
08-30
主要给大家介绍了关于java如何获取redis日志信息与动态监控信息的方法，文中介绍的非常详细，对大家具有一定的参考价值，需要的朋友们下面来一起看看吧。
redis 使用
forever_insist的博客
11-25 2万+
一、Redis的安装 wget ‘http://code.google.com/p/redis/downloads/detail?name=redis-2.0.4.tar.gz’ tar xzf redis-2.0.4.tar.gz cd redis-2.0.4 ./configure make & make install 二、Redis工具 redis-se
Redis审计和日志记录
互联网知识分享
08-31 1918
Redis审计和日志记录是两个重要的功能，可以帮助我们了解Redis的使用情况和运行状态。通过审计可以追踪和审查对数据库的操作，发现异常操作和安全隐患。通过日志记录可以查看和分析Redis的运行日志，进行故障排查和性能优化。通过合理配置相关参数，可以实现对Redis的审计和日志记录功能。以上是关于Redis审计和日志记录的详细介绍，包括原理解说、参数介绍和完整代码案例。希望对您理解和使用Redis的审计和日志记录功能有所帮助。
windows 版 redis 开启日志操作
最新发布
qq_43893881的博客
02-19 672
windows 版 redis 开启日志操作
Redis环境配置（核心配置选项）
IT之一小佬的博客
02-15 360
Redis环境配置（核心配置选项）
redis详解之数据备份与恢复
原名：@程序员大禹
06-28 1万+
Redis所有数据都是保存在内存中，Redis数据备份可以定期的通过异步方式保存到磁盘上，该方式称为半持久化模式，如果每一次数据变化都写入aof文件里面，则称为全持久化模式。本章节通过配置文件，触发快照的方式，恢复数据的操作，优缺点来学习 Redis 的重点知识——数据备份与恢复。1、方式一：半持久化RDB模式（Redis DataBase）【redis备份默认方式】通过快照完成，由用户在redis.conf配置文件中设置两个参数：时间和改动的键的个数。当在指定的时间内被更改的键的个数大于指定的数值时，re
简述Redis备份策略以及对应的实现机制
沛哥儿的专栏
12-28 1289
在选择Redis的备份策略时，需要根据实际业务需求和系统资源进行权衡。定期备份适用于数据量较小的情况，实时备份适用于对数据完整性要求高的场景，增量备份和全量备份适用于大数据量和高恢复速度的要求。在实现备份时，可以选择RDB、AOF或第三方工具进行操作，确保数据的安全性和完整性。
redis日志配置方法
热门推荐
lhjllff12345的专栏
06-22 3万+
redis在默认情况下，是不会生成日志文件的，所以需要配置 配置方法： 1、首先找到redis的配置文件 2、打开配置文件，找到logfile（可能有多个logfile，认准旁边有loglevel的那个），或者直接搜logfile "" 3、将路径填入logfile后面的引号内，例如：logfile "d:/redislog/redis.log" (注意斜杆的方向，这个和wind
Redis超详细总结
说故事的五公子
05-07 3323
NoSQL概述 一.数据存储的演化史 1.单机MySQL的美好年代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 上述架构下，我们来看看数据存储的瓶颈是什么？ 1.数据量的总大小 一个机器放不下时 2.数据的索引（B+ Tree）一个机器的内存放不下时 3.访问量(读写混合)一个实例不能承受 如果满足了上述1 or...
redis配置文件redis.conf中文版（基于2.4）
chongjubao8359的博客
05-15 309
sudo -u zxredis /usr/local/redis/bin/redis-server /usr/local/redis/etc/redis6379.conf # Redis示例配置文件 # 注意单位问题：当需要设置内存大小的时候，...
Redis配置文件最详细解析
越努力越幸运的博客
11-17 937
文章目录Part1、Units 单位Part2、INCLUDES 包含Part3、MODULES 模型Part4、NETWORK 网络4.1 bind 和 protected-mode4.2 port4.3 tcp-backlog4.4 timeouttcp-keepalivedPart5、GENERAL 生成5.1 daemonize5.2 pidfile5.3 loglevel 和 logfile5.4 databasePart6、SECURITY 安全6.1 requirepassPart7、LIMI
redis 6.2.6 日志文件输出
ycsdn10的博客
01-23 1493
一、安装redis redis linux 安装 6.2.6 稳定版_ycsdn10的博客-CSDN博客 二、配置输出日志路径 1.搜索 logfile 2.修改输出路径（自定即可） 3.启动 redis-server /redis/install/bin/redis.conf 4.查看日志文件 （1）在对应文件夹下看是否有文件 cat redis.log （2）打印日志文件内容 ...
redis 替代php文件存储session的实例
09-09
主要介绍了redis 替代php文件存储session的实例的相关资料,希望通过本文能帮助到大家，让大家掌握这样的方法，需要的朋友可以参考下
Redis配置文件redis.conf详细配置说明
01-21
redis配置文件详解 # vi redis.conf daemonize yes #是否以后台进程运行 pidfile /var/run/redis/redis-server.pid #pid文件位置 port 6379#监听端口 bind 127.0.0.1 #绑定地址，如外网需要连接，设置0.0.0.0 time...
如何基于MySQL及Redis搭建统一的KV存储服务
02-25
业务层通过双写同时写MySQL及Redis。读通常在Redis，若读取不到，则从MySQL读取，然后将数据同步到Redis，Redis通常设置expire或者默认LRU进行数据淘汰。这种使用方式会有如下问题：1）MySQL及Redis存在数据不一致...
详解Redis的慢查询日志
09-08
主要介绍了Redis的慢查询日志的相关资料，帮助大家更好的理解和学习Redis数据库，感兴趣的朋友可以了解下
redis日志级别详解及日志持久化
qq_42476938的博客
12-22 688
测试开发环境都是通过redis.conf对redis进行配置默认的路径是/etc/redis/redis.conf。
Redis 的使用
qq_67929543的博客
05-22 490
环境：cent os7、Redis 5.0.4、xshell7、xftp7 目录 安装 重要文件介绍 服务的启动与关闭 启动 关闭 连接 安装 使用xftp工具把压缩包上传到linux中，这里我是上传到了 `opt` 目录下 然后使用 tar -xvf redis-5.0.4 命令进行解压缩 使用 yum 下载 gcc 工具 命令：yum install gcc -y 安装完成之后，进入 redis-5.0.4 这个目录，执行 make 命令，进行编译： 编译完成之后，使用
redis详细笔记
weixin_47541976的博客
09-01 3102
redis安装及介绍
创建docker redis镜像时指定存储目录、日志文件信息、容器名称
06-01
可以使用以下命令创建 Redis 镜像，并指定存储目录、日志文件信息、容器名称： ``` docker run --name my-redis -v /path/to/data:/data -v /path/to/logs:/logs -d redis redis-server --appendonly yes --...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值