关于MySQL定时备份脚本与其他日志使用

1、mysql备份指定的数据库脚本:

cat fileBackupsScript.sh

#!/bin/sh
#db_backups_conf.txt文件路径
db_backups_conf="/usr/mysqldump/db_backups_conf.txt"
#判断文件是否存在
if [ -f "${db_backups_conf}" ];then

        echo $(date +'%Y-%m-%d %H:%M:%S')" 数据库配置信息文件存在,开始进行数据备份"
        #获取等号前内容,作为map中的Key值
        dbArrOne=($(awk -F'[=]' '{print $1}' ${db_backups_conf} ))

        #获取等号后内容,作为map中的value值
        dbArrTwo=($(awk -F'[=]' '{print $2}' ${db_backups_conf}))
        #创建一个空map
        declare -A map=()

        #通过循环,将db_backups_conf配置文件中的信息存储在map中
        for((i=0;i<${#dbArrOne[@]};i++))
        do
                map[${dbArrOne[i]}]=${dbArrTwo[i]}
        done
        #获取备份数据库的字符串
        copyDb=${map["copydb"]}

        #获取默认的字符串分隔符
        old_ifs="$IFS"

        #设置字符串分隔符为逗号
        IFS=","
        #将备份数据库value值的字符串进行分隔,获取一个数组
        dbArr=($copyDb)
        #将字符串的分隔符重新设置为默认的分隔符
        IFS="$old_ifs"
        #获取当前年月日
        saveday=$(date +%Y%m%d)
        #获取超出备份天数的年月日
        delday=$(date -d ${map["backupsFileDay"]}' days ago' +%Y%m%d)

        #遍历要备份的数据库,删除两天前备份的数据文件
        for delDb in ${dbArr[@]};
        do
                echo $(date +'%Y-%m-%d %H:%M:%S')" 删除文件:"${map["backupsFileStr"]}/${delDb}_database_${delday}.sql
                rm -f ${map["backupsFileStr"]}/${delDb}_database_${delday}.sql
        done
        #遍历要备份的数据库,备份数据文件
        for saveDb in ${dbArr[@]};
        do
                echo $(date +'%Y-%m-%d %H:%M:%S')" 备份数据库:"${saveDb}
                ${map["mysqldumpStr"]} -u${map["username"]} -p${map["password"]} --set-gtid-purged=off --default-parallelism=${map["threadCounts"]} -B ${saveDb} > ${map["backupsFileStr"]}/${saveDb}_database_${saveday}.sql
        done

        echo $(date +'%Y-%m-%d %H:%M:%S')" 数据备份完毕,脚本执行完毕"
else
        echo "文件不存在"
fi

cat db_backups_conf.txt
username=root
password=xxxxx
backupsFileStr=/data/mysqldump/mysql
backupsFileDay=7
threadCounts=6
mysqldumpStr=/usr/mysqldata/bin/mysqlpump
copydb=db1,db2,db3

定时任务crontab每天凌晨1点执行即可:
0 1 * * * sh /usr/mysqldata/fileBackupsScript.sh


2、从记录执行sql语句日志中过滤出执行过的所有sql语句:注:此日志需要开启general才有记录,一般不建议开启

cat getallexecsql.sh
#/bin/bash
cat /usr/mysql/mysqldata/log/general.log | grep "08:00" |awk '{print substr($0, 46)}' | grep -v "^t" | grep -v "^/" > /usr/mysql/mysqldata/log/execute-sql.log

定时任务crontab每天凌晨1点执行即可:
0 1 * * * sh /usr/local/getallexecsql.sh

3、打开慢查询日志可能会对系统性能有一点点影响,如果你的MySQL是主从结构,可以考虑打开其中一台从服务器的慢查询日志,这样既可以监控慢查询,对系统性能影响也会很小。另外,可以用MySQL自带的命令mysqldumpslow进行查询。比如:下面的命令可以查出访问次数最多的20个SQL语句:

mysqldumpslow -s c -t 20 host-slow.log

4、备份参数注意:
使用--default-parallelism参数时,并行备份和--single-transaction冲突,不能同时使用,使用时,需要通过设置--default-parallelism=0来关闭并行备份。

持续更新。。。。。。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
docker mysql 定时备份脚本可以通过在Docker容器中运行CRON任务来实现。在提供的引用内容中,并没有直接包含docker mysql定时备份脚本的详细说明。但是,我们可以根据提供的资源包含了MySQL的配置文件和一些其他脚本文件,来组合实现定时备份脚本。 下面是一种可能的实现方法: 1. 首先,进入Docker容器中的MySQL配置文件目录,并修改my.cnf文件来启用MySQL的binlog。在binlog中记录的操作日志可以用于恢复数据库到指定的时间点。 2. 接下来,创建一个备份脚本文件,将其保存为backup.sh或者其他指定名称。该脚本文件将执行MySQL备份的操作。脚本内容大致如下: ``` #!/bin/bash # 设置备份目录 BACKUP_DIR=/path/to/backup # 设置备份文件名 BACKUP_FILE=mysql_backup_$(date +%Y%m%d%H%M%S).sql # 执行备份命令 mysqldump -u <username> -p<password> -h <host> --all-databases > $BACKUP_DIR/$BACKUP_FILE ``` 3. 接下来,创建一个定时任务脚本文件,将其保存为cron.sh或者其他指定名称。该脚本文件将设置定时任务,并执行备份脚本脚本内容大致如下: ``` #!/bin/bash # 设置定时任务执行频率,例如每天凌晨3点执行备份 CRON_SCHEDULE="0 3 * * *" # 设置备份脚本文件路径 BACKUP_SCRIPT=/path/to/backup.sh # 添加定时任务 echo "$CRON_SCHEDULE root $BACKUP_SCRIPT" >> /etc/crontab # 重新加载cron服务 service cron reload ``` 4. 最后,通过在Docker容器中运行cron.sh脚本,即可设置定时任务并执行备份操作。 ``` $ sh cron.sh ``` 需要注意的是,以上脚本内容仅为示例,具体的配置和操作需要根据实际情况进行调整。 参考资料: 提供的资源包含的Spark集群配置文件
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

划水的运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值