基于rsync\unlink 等一套本机备份跨机备份历史备份清理shell 脚本

一 摘要

本文主要介绍一套本地备份、跨机器备份、历史备份清理脚本,使用场景如数据库备份等

二 环境

linux 系列系统 基本都支持,个别命令可能需要微调。

2.1 实验环境

[root@localhost rsync]# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)

三 脚本介绍

介绍脚本主要功能模块及目录结构

3.1 脚本目录结构

[root@projun002 data]# cd scripts/
[root@projun002 scripts]# tree
.
├── backup
│   ├── backup_mysql.sh
│   └── backup_nginx.sh
├── delete
│   ├── delete_dockercompse.sh
│   ├── delete_jira.sh
│   ├── delete_mysql.sh
│   ├── delete_nginx.sh
│   └── deleteoldfile.sh
├── logs
│   ├── backup_mysql.INFO.2024-06-26.log
│   ├── backup_mysql.INFO.2024-06-27.log
└── rsync
    ├── push_rsync_devopsapp.sh
    ├── push_rsync_gitlabtar.sh
    ├── push_rsync_jira.sh
    └── rsync_tools.sh

/scripts/backup/ 主要存放本机备份脚本;
/scripts/rsync/ 主要存放跨机备份脚本;
/scripts/delete/ 主要存放删除本机历史备份和日志文件脚本;
/scripts/logs/ 主要存放日志文件;

3.2 以备份mysql 为例介绍脚本及使用办法

3.2.1 /scripts/backup/backup_mysql.sh

该脚本里基于mysqldump 备份数据库,既可以备份基于容器部署的mysql,也可以部署基于rpm 包安装的数据库;
注意几点:备份好后,一定要验证是否能顺利恢复。
因为mysql 配置不同,备份命令也要基于自己的配置修改
比如default-character-set=utf8 ,您的库不是utf-8,那就要改了。

#!/bin/bash

# 数据库连接信息

DB_HOST="127.0.0.1"

DB_PORT="3306"

DB_USER="root"

DB_PASSWD="test"


# 时间格式化,如 20211216


DATE="`date +%Y%m%d%H%M%S`"
# 备份文件目录

DIR_BACKUP="/data/backup/devopsapp/mysqldata"


#备份应用
APP_NAME="mysql"
#脚本根目录
SCRIPT_DIR="/data/scripts/"

DIR_LOG="${SCRIPT_DIR}/logs"

FILE_LOG="${DIR_LOG}/backup_${APP_NAME}.INFO.`date +%F`.log"


# 备份数据库名

DATABASES=("jira  mysql")

# mysql docker id
MYSQL_DOCKER_ID=`docker ps -a | grep devopsappmysql | awk '{print $1}'`

# 测试目录, 目录不存在则自动创建

# test -d ${DIR_LOG} || echo passwd | sudo -S mkdir -p ${DIR_LOG}

test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}
test -d ${DIR_BACKUP} || mkdir -p ${DIR_BACKUP}

# ------------------- 2021-12-16_17:40:48 Start -------------------

echo -e "\n----------------- $(date +%F\ %T) Start -----------------"

echo -e "\n================= $(date +%F\ %T) Start =================" >> ${FILE_LOG}


    # 遍历数据库名

    for database in ${DATABASES[@]}; do 

        # 打印备份的数据库名

        echo "----------- Current backup database: [ ${database} ] ------------"

        echo "-------------- Backed-up database: [ ${database} ] --------------" >> ${FILE_LOG}
        docker exec -i ${MYSQL_DOCKER_ID} sh -c " mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${database} | gzip > ${DIR_BACKUP}/mysqlbackup_${database}_${DATE}.sql.gz"
    done

    # 备份指定的数据库

   # mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${DATABASES} | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz


# docker 版本
#docker exec -i ${MYSQL_DOCKER_ID} sh -c " mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${DATABASES} | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz"


# # 备份全部数据库

# mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -A | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz


echo "------- Backup file created: [ mysql_backup_${DATE}.sql.gz ]"

echo "------- Backup file created: [ mysql_backup_${DATE}.sql.gz ]" >> ${FILE_LOG}

3.2.2 /data/scripts/rsync/push_rsync_mysql.sh

该脚本主要是将备份备份文件通过rsync 方式传到另一台机器实现跨机器备份

#!/bin/bash
####
#基于rsync 或者scp 实现跨物理机数据传输
#date:20240415 authro:weibi2
###


#应用名称
APP_NAME=mysql
# 远程主机 主机信息
DEST_HOST=10.3.170.73
DEST_USER=root
#需要到push 主机手工新建该目录
DEST__DIR="/data/backup/76server/mysqldata"


# 本机信息

SCRIPT_DIR="/data/scripts"
#备份日志文件目录
LOG_DIR="${SCRIPT_DIR}/logs"
#rsync 日志文件
LOG_FILE="${LOG_DIR}/rsync_${APP_NAME}.`date +%F`.log"

#源目录 ,同步文件所在目录
#注意最后一个下划线
SRC_DIR="/data/backup/devopsapp/mysqldata/"

# 若日志目录不存在则新建
test -d ${LOG_DIR} || mkdir -p ${LOG_DIR} 

#rsync -avzP -e "ssh -p 22" /data/yunweipro/devopsapp/jira/data/export/  root@10.3.170.73:/data/backup/devopsapp/jira/export/


nohup rsync -avzP -e "ssh -p 22" ${SRC_DIR}  ${DEST_USER}@${DEST_HOST}:${DEST__DIR} >> ${LOG_FILE}  2>&1 &

3.2.3 /data/scripts/rsync/rsync_tools.sh

该脚本是一个工具脚本用于启动、停止、查看跨机脚本

#!/bin/bash
LOG_DIR="/data/scripts/logs/"
LOG_FILE="${LOG_DIR}rsync_tools_`date +%F`.log"
# 若日志目录不存在则新建
test -d ${LOG_DIR} || mkdir -p ${LOG_DIR}

case "$1" in
    start)
         /data/scripts/rsync/push_rsync_mysql.sh && echo "start push_rsync_mysql.sh" | tee -a $LOG_FILE
         echo "STARTING rsync_tool..."
    
    ;;  
    stop)
       #killall rsync && echo " kill all rsync " >> $LOGFILE
       PIDS=`ps -ef | grep -v grep | grep -v rsync_tools | grep rsync | awk '{print $2}'`
       for pid in $PIDS
       do
          kill -9 $pid && echo "kill $pid" >> $LOG_FILE
       done
       echo "STOP ALL rsync"

    ;;

    status)
       ps -ef | grep -v grep | grep rsync
    ;;
    
    restart)
        $0 stop
        $0 start
    ;; 

    *)
        echo "Usage: $0 {start|stop|restart|status}"
        exit 1
    ;;
esac

启动命令

[root@localhost rsync]# ./rsync_tools.sh start
start push_rsync_mysql.sh
STARTING rsync_tool...
[root@localhost rsync]# ./rsync_tools.sh status
root     14273 14233  0 15:47 pts/0    00:00:00 less push_rsync_devopsapp.sh
root     14443 14233  0 16:01 pts/0    00:00:00 less rsync_mysql.2024-07-22.log
root     14504     1 99 16:04 pts/1    00:00:05 rsync -avzP -e ssh -p 22 /data/backup/devopsapp/mysqldata/ root@10.3.170.73:/data/backup/76server/mysqldata
root     14507 14504 20 16:04 pts/1    00:00:01 ssh -p 22 -l root 10.3.170.73 rsync --server -vlogDtprze.iLsfxC --partial . /data/backup/76server/mysqldata
root     14508 14288  0 16:04 pts/1    00:00:00 /bin/bash ./rsync_tools.sh status

3.2.4 /data/scripts/delete/delete_mysql.sh

该脚本用于删除本机历史备份

该脚本详细介绍 请看基于unlink 和黑白名单实现删除脚本(日志清理、历史备份清理)

#!/bin/bash

# 时间格式化,如 20211216120101
DATE="`date +%Y%m%d%H%M%S`"
#DATE="`date +%Y%m%d`"

# 备份app 名称
# 需根据实际需要修改
APP_NAME="devopsapp"

# 文件名称过滤词,正则匹配
# 需根据实际需要修改
#FILE_NAME_MATCH_KEY_WORD="'*'"

# 备份文件目录,待删除文件所在的目录
# 需根据实际需要修改
DIR_BACKUP="/data/backup/${APP_NAME}"

# 存放待删除文件名称,删除操作日志
DIR_LOG="${DIR_BACKUP}/logs"

# 存放删除操作日志
DELETE_FILE_LOG="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.log"

#存放待删除文件清单
DELETE_FILE_LIST="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.list"


#黑名单 ,以黑名单开头的文件 均不能删除
BLACK_LIST=("/root" "/bin" "/dev" "/etc" "/lib" "/lib64" "/media" "/mnt" "/opt" "/proc" "/root" "/run" "/sbin" "/srv" "/sys" "/usr" "/var")


#白名单,只有白名单开头的文件才能删除
# 需根据实际需要修改
WHITE_LIST=("/testdir" "/data/backup")

# 文件保留天数
# 需根据实际需要修改
DAY=8

# 待删除文件名称正则匹配

echo -e "\n----------------- $(date +%F\ %T) Start -----------------"

## 若日志目录不存在则新建
test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}

echo -e "\n================= $(date +%F\ %T) Start =================" >> ${DELETE_FILE_LOG}

# 查找待删除文件,并存入DELETE_FILE_LIST
# '*' 根据需要修改 正则匹配 
find ${DIR_BACKUP} -type f -mtime +${DAY} -iname  'mysql*' >> ${DELETE_FILE_LIST}
#find ${DIR_BACKUP} -type f -mtime +${DAY} |  grep  ${FILE_NAME_MATCH_KEY_WORD} >> ${DELETE_FILE_LIST}

# 遍历待删文件清单 

while read rows
do
    echo ${rows} waiting to delete >>  ${DELETE_FILE_LOG}
    # 如果文件名是/ , 直接退出脚本
    # /* 通过黑白名单 过滤
    if [[ ${rows} == "/" ]]; then
       echo ${rows} illeagal, refuse to delete,please check you script >> ${DELETE_FILE_LOG}
       break;
    else
       # 黑名单判断
       for blackListElement in "${BLACK_LIST[@]}"
       do
           if [[ ${rows} == ${blackListElement}* ]];then
     	      echo ${rows} in blacklist ${blackListElement},refuse to delete this file >> ${DELETE_FILE_LOG} 
              BLACK_LIST_FLAG="YES"
              break
           else
              BLACK_LIST_FLAG="NOT"
           fi
       done #结束黑名单判断
       #白名单 判断
       for whileListElement in "${WHITE_LIST[@]}"
       do
           if [[ ${rows} == ${whileListElement}* ]];then
                 WHITE_LIST_FLAG="YES"
                 break
           else
                  WHITE_LIST_FLAG="NOT"
           fi
       done # 结束白名单循环

     fi  # 根目录判断

     echo  ${row} BLACK_LIST_FLAG IS ${BLACK_LIST_FLAG} >> ${DELETE_FILE_LOG}  
     echo  ${row} WHITE_LIST_FLAG IS ${WHITE_LIST_FLAG} >> ${DELETE_FILE_LOG}  

      if [[ ${BLACK_LIST_FLAG} == "NOT" ]] && [[ ${WHITE_LIST_FLAG} == "YES" ]];then
	   # 执行删除操作
           unlink ${rows} && echo  ${rows} delete success >> ${DELETE_FILE_LOG}
           echo  ${rows} delete
      fi
           

done < ${DELETE_FILE_LIST}

echo -e "\n----------------- $(date +%F\ %T) END -----------------"

echo -e "\n================= $(date +%F\ %T) END =================" >> ${DELETE_FILE_LOG}


3.2.5 配置crontab 定时执行命令

本机备份
跨机备份
删除本机历史备份

[root@localhostdelete]# crontab -l
0 3 * * *  /data/scripts/backup/backup_mysql.sh
0 5 * * *  /data/scripts/rsync/rsync_tools.sh start 
4 22 * * * /data/scripts/delete/delete_mysql.sh

3.2.6 删除跨机历史备份

在远程机上配置定时任务,执行清理脚本

该脚本一定要慎重执行!黑白名单一定要配置

#!/bin/bash

# 时间格式化,如 20211216120101
DATE="`date +%Y%m%d%H%M%S`"
#DATE="`date +%Y%m%d`"

# 备份app 名称
# 需根据实际需要修改
APP_NAME="devopsapp"

# 文件名称过滤词,正则匹配
# 需根据实际需要修改
#FILE_NAME_MATCH_KEY_WORD="'*'"

# 备份文件目录,待删除文件所在的目录
# 需根据实际需要修改
DIR_BACKUP="/data/backup/${APP_NAME}"

# 存放待删除文件名称,删除操作日志
DIR_LOG="${DIR_BACKUP}/logs"

# 存放删除操作日志
DELETE_FILE_LOG="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.log"

#存放待删除文件清单
DELETE_FILE_LIST="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.list"


#黑名单 ,以黑名单开头的文件 均不能删除
BLACK_LIST=("/root" "/bin" "/dev" "/etc" "/lib" "/lib64" "/media" "/mnt" "/opt" "/proc" "/root" "/run" "/sbin" "/srv" "/sys" "/usr" "/var")


#白名单,只有白名单开头的文件才能删除
# 需根据实际需要修改
WHITE_LIST=("/iflytek" "/data/backup")

# 文件保留天数
# 需根据实际需要修改
DAY=8

# 待删除文件名称正则匹配

echo -e "\n----------------- $(date +%F\ %T) Start -----------------"

## 若日志目录不存在则新建
test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}

echo -e "\n================= $(date +%F\ %T) Start =================" >> ${DELETE_FILE_LOG}

# 查找待删除文件,并存入DELETE_FILE_LIST
# '*' 根据需要修改 正则匹配 
find ${DIR_BACKUP} -type f -mtime +${DAY} -iname  '*' >> ${DELETE_FILE_LIST}
#find ${DIR_BACKUP} -type f -mtime +${DAY} |  grep  ${FILE_NAME_MATCH_KEY_WORD} >> ${DELETE_FILE_LIST}

# 遍历待删文件清单 

while read rows
do
    echo ${rows} waiting to delete >>  ${DELETE_FILE_LOG}
    # 如果文件名是/ , 直接退出脚本
    # /* 通过黑白名单 过滤
    if [[ ${rows} == "/" ]]; then
       echo ${rows} illeagal, refuse to delete,please check you script >> ${DELETE_FILE_LOG}
       break;
    else
       # 黑名单判断
       for blackListElement in "${BLACK_LIST[@]}"
       do
           if [[ ${rows} == ${blackListElement}* ]];then
     	      echo ${rows} in blacklist ${blackListElement},refuse to delete this file >> ${DELETE_FILE_LOG} 
              BLACK_LIST_FLAG="YES"
              break
           else
              BLACK_LIST_FLAG="NOT"
           fi
       done #结束黑名单判断
       #白名单 判断
       for whileListElement in "${WHITE_LIST[@]}"
       do
           if [[ ${rows} == ${whileListElement}* ]];then
                 WHITE_LIST_FLAG="YES"
                 break
           else
                  WHITE_LIST_FLAG="NOT"
           fi
       done # 结束白名单循环

     fi  # 根目录判断

     echo  ${row} BLACK_LIST_FLAG IS ${BLACK_LIST_FLAG} >> ${DELETE_FILE_LOG}  
     echo  ${row} WHITE_LIST_FLAG IS ${WHITE_LIST_FLAG} >> ${DELETE_FILE_LOG}  

      if [[ ${BLACK_LIST_FLAG} == "NOT" ]] && [[ ${WHITE_LIST_FLAG} == "YES" ]];then
	   # 执行删除操作
           unlink ${rows} && echo  ${rows} delete success >> ${DELETE_FILE_LOG}
           echo  ${rows} delete
      fi
           

done < ${DELETE_FILE_LIST}

echo -e "\n----------------- $(date +%F\ %T) END -----------------"

echo -e "\n================= $(date +%F\ %T) END =================" >> ${DELETE_FILE_LOG}


  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值