手动备份数据库并进行文件传输及清理-CSDN博客

本文链接：https://blog.csdn.net/qukexinhss/article/details/140200891

文章目录

目标

服务器上手动备份数据库，并传输到其他服务器；
支持配置保留数量，自动删除过期脚本；
备份及清理支持钉钉、企业微信通知；

实现方案

mysqldump命令实现数据库备份；
spawn scp -r 实现跨服务器文件传输；
crontab -e 实现定时任务配置；
通过python实现向钉钉、企业微信推送通知；

技术细节及脚本

数据库备份校验 mysql_dump_script.sh

#!/bin/bash

    #备份保存路径
    backup_dir=/opt/data/mysql
    #日期
    dd=`date +%Y-%m-%d-%H-%M-%S`
    #备份工具
    tool=mysqldump
    #用户名
    username=数据库账号
    #密码
    password=数据库密码
    #端口
    port=数据库端口
    #将要备份的数据库
    database_name=数据库名称

    #如果文件夹不存在则创建
    if [ ! -d $backup_dir ];
    then
        mkdir -p $backup_dir;
    fi

    #简单写法  mysqldump -u root -p123456 -P3066 users > /root/mysqlbackup/users-$filename.sql
    $tool -u $username -p$password -P$port $database_name > $backup_dir/$database_name-$dd.sql

    #写创建备份日志
    echo "create $backup_dir/$database_name-$dd.dupm" >> $backup_dir/log.txt

    #文件同步到 其他服务器 此处使用脚本的绝对路径
    /opt/data/scripts/scp_script.sh 目标服务器ip 目标服务器账号 目标服务器密码 $backup_dir/$database_name-$dd.sql $backup_dir

跨服务传输文件脚本 scp_script.sh

#!/usr/bin/expect -f
set timeout -1
set HOST [lindex $argv 0]
set USERNAME [lindex $argv 1]
set PASSWD [lindex $argv 2]
set source [lindex $argv 3]
set target [lindex $argv 4]
spawn scp -r $source $USERNAME@$HOST:$target
expect {
"(yes/no)?"
{
send "yes\n"
expect "*assword:" { send "$PASSWD\r" }
}
"*assword:"
{
send "$PASSWD\r"
}
}
expect eof

钉钉消息推送脚本 dingding.py

#!/usr/bin/env python
#coding:utf-8
#钉钉消息推送
import requests,json,sys,os,datetime
import time
import hmac
import hashlib
import base64
import urllib
#说明:此处增加通过加签方式进行校验；避免关键词不匹配或ip 异常导致的消息丢失;
secret="钉钉群机器人secret"
timestamp = int(round(time.time() * 1000))
secret_enc = secret.encode('utf-8')
string_to_sign = '{}\n{}'.format(timestamp, secret)
string_to_sign_enc = string_to_sign.encode('utf-8')
hmac_code = hmac.new(secret_enc, string_to_sign_enc, digestmod=hashlib.sha256).digest()
sign = urllib.pathname2url(base64.b64encode(hmac_code))
Url = "&timestamp="+str(timestamp)+"&sign="+sign
webhook="https://oapi.dingtalk.com/robot/send?access_token=钉钉群机器人accessToken"+Url
#说明：这里改为自己创建的机器人的webhook的值
user=sys.argv[1]
text=sys.argv[3]
userArr = user.split(',')
data={
    "msgtype": "text",
    "text": {
        "content": text
    },
    "at": {
        "atMobiles": userArr,
        "isAtAll": False
    }
}
headers = {'Content-Type': 'application/json'}
x=requests.post(url=webhook,data=json.dumps(data),headers=headers)
if os.path.exists("/opt/crontab/dingding/log/dingding.log"):
    f=open("/opt/crontab/dingding/log/dingding.log","a+")
else:
    f=open("/opt/crontab/dingding/log/dingding.log","w+")
f.write("\n"+"--"*30)
if x.json()["errcode"] == 0:
    f.write("\n"+str(datetime.datetime.now())+"    "+str(user)+"    "+"发送成功"+"\n"+str(text))
    f.close()
else:
    f.write("\n"+str(datetime.datetime.now()) + "    " + str(user) + "    " + "发送失败" + "\n" + str(text) + "\n" + str(x.json()))
    f.close()

企业微信消息推送脚本 wechat.py

#!/usr/bin/python2.7
#_*_coding:utf-8 _*_
#企业微信消息推送
import requests,sys,json
import urllib3
urllib3.disable_warnings()

reload(sys)
sys.setdefaultencoding('utf-8')

def GetTokenFromServer(Corpid,Secret):
    Url = "https://qyapi.weixin.qq.com/cgi-bin/gettoken"
    Data = {
        "corpid":Corpid,
        "corpsecret":Secret
    }
    r = requests.get(url=Url,params=Data,verify=False)
    print(r.json())
    if r.json()['errcode'] != 0:
        return False
    else:
        Token = r.json()['access_token']
        file = open('/opt/crontab/wechat/log/wechat_config.json', 'w')
        file.write(r.text)
        file.close()
        return Token

def SendMessage(User,Agentid,Subject,Content):
    try:
        file = open('/opt/crontab/wechat/log/wechat_config.json', 'r')
        Token = json.load(file)['access_token']
        file.close()
    except:
        Token = GetTokenFromServer(Corpid, Secret)

    n = 0
    Url = "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=%s" % Token
    Data = {
        "touser": User,                                 # 企业号中的用户帐号，在zabbix用户Media中配置，如果配置不正常，将按部>门发送。
        #"totag": Tagid,                                # 企业号中的标签id，群发使用（推荐）
        #"toparty": Partyid,                            # 企业号中的部门id，群发时使用。
        "msgtype": "text",                              # 消息类型。
        "agentid": Agentid,                             # 企业号中的应用id。
        "text": {
            "content": Subject + '\n' + Content
        },
        "safe": "0"
    }
    r = requests.post(url=Url,data=json.dumps(Data),verify=False)
    while r.json()['errcode'] != 0 and n < 4:
        n+=1
        Token = GetTokenFromServer(Corpid, Secret)
        if Token:
            Url = "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=%s" % Token
            r = requests.post(url=Url,data=json.dumps(Data),verify=False)
            print(r.json())

    return r.json()


if __name__ == '__main__':
    User = sys.argv[1]
    #第一个参数
    Subject = str(sys.argv[2])                                                       
    #第二个参数
    Content = str(sys.argv[3])                                                      
    #第三个参数
    Corpid = "此处填入企业微信上申请的企业标识号"                                                                     
    # CorpID是企业号的标识
    Secret = "此处填入企业微信上申请的secret值"                                                                
    # Secret是管理组凭证密钥
    #Tagid = "1"                                                                        
    # 通讯录标签ID
    Agentid = "此处填入企业微信上申请的应用ID"                                                                 
    # 应用ID
    #Partyid = "1"                                                                      
    # 部门ID
    Status = SendMessage(User,Agentid,Subject,Content)
    print Status

自动清理文件脚本clean_script.sh

#!/bin/bash
#保存备份个数
number=100
#备份保存路径 /opt/data/mysql
backup_dir=/opt/data/mysql
#日期
dd=`date +%Y-%m-%d-%H-%M-%S`
#备份的数据库名称
database_name=数据库名称

#如果文件夹不存在则创建
if [ ! -d $backup_dir ];
then
    mkdir -p $backup_dir;
fi

#获取当前已备份的文件数量
count=`ls -l -crt  $backup_dir/*.sql | awk '{print $9 }' | wc -l`
echo "当前时间:$dd $backup_dir 目录下 $database_name 相关文件数量:$count" >> $backup_dir/log.txt
# 当文件数量 > number  时触发
if [ $count -gt $number ]
 then
   while [ $count -gt $number ]
     do
        delfile=`ls -l -crt  $backup_dir/*.sql | awk '{print $9 }' | head -1`
        rm $delfile
        echo "删除 $delfile" >> $backup_dir/log.txt
        let count=`ls -l -crt  $backup_dir/*.sql | awk '{print $9 }' | wc -l`
     done
fi

服务器定时任务配置 crontab -e

0,30 0,8,11,19,20 * * * /opt/data/scripts/mysql_dump_script.sh
30 1 * * * /opt/data/scripts/clean_script.sh

小结

上面是比较简单的实现方案，整体流程还存在一些问题，后续继续优化。