linux中导出(备份)数据库/表 和 自动导入sql文件

最近在工作中需要把业务服务器中的信息表导入到日志服务器(另外一台)中做数据分析关联处理，所以记录一下实现过程。

数据库/表导出(备份)

#!/bin/sh
backup_init_dir="/dir/sql_backup/"
date_dir=`date -d"1 day ago" +%Y/%m/%d`
#数据库备份 指定备份文件存储路径
index_dir=${backup_init_dir}/${date_dir}
#目录不存在则创建
/bin/mkdir -p ${index_dir} > /dev/null 2>&1
### 数据库备份
mysqldump -hhostname -uusername -ppassword database | gzip > ${index_dir}/database.sql.gz
### 单表备份
mysqldump -hhostname -uusername -ppassword database table > ${backup_init_dir}/table.sql

上述shell脚本中
变量 backup_init_dir 指定备份文件存储目录，
date_dir文件名后缀，
mkdir 为创建目录，-p 确保目录名称存在，不存在的就建一个(创建多层目录时，-p可以保证创建成功，不加如果父目录不存在则报错)
mysqldump -h -u -p database table
-h 如果本机数据库可省略不写
-u 用户名
-p 密码
database 需备份数据库名
table 不写则备份整个数据库，写了备份指定表

远程拷贝文件

#!/usr/bin/expect -f
## 设置密码
set password pwd
## 指定目录
set backup_init_dir /dir/sql_backup/

spawn scp ${backup_init_dir}/table.sql username@host:/dir/sqlBack/table.sql
set timeout 300 
expect "username@host's password:"
set timeout 300 
send "$password\r"
set timeout 300 
send "exit\r"
expect eof

scp 用于 Linux 之间复制文件和目录。
使用格式：scp 本地文件 远程服务器账号@远程服务器ip:远程目录地址
expect 用来处理交互的命令
send：用于向进程发送字符串
expect：从进程接收字符串
spawn：启动新的进程
interact：允许用户交互

expect具体讲解可点击这里

导入sql文件

# 这里是导入单表sql 到指定数据库中
echo "source /dir/sqlBack/table.sql" | mysql -uusername -ppwsswd database

echo Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。
source 使当前shell读入指定文件并依次执行文件中的所有语句
| linux 管道符，用于将‘|’前面命令的输出作为’|'后面的输入

linux 中 | || 详细讲解可点击这里

crontab 执行定时任务

*    *    *    *    * 
-    -    -    -    -
|    |    |    |    |
|    |    |    |    +----- 星期中星期几 (0 - 7) (星期天 为0)
|    |    |    +---------- 月份 (1 - 12) 
|    |    +--------------- 一个月中的第几天 (1 - 31)
|    +-------------------- 小时 (0 - 23)
+------------------------- 分钟 (0 - 59)

不放心的话可以查看未来定时任务执行时间 https://tool.lu/crontab/

这里需要注意执行时调用具体的程序，如

*/1 * * * * php test.php
11 3 * * * /usr/bin/expect /dir/shell/scp.sh
0 3 * * * /bin/sh /dir/shell/backup.sh

之后在业务服务器中crontab里面定时执行备份数据库/表脚本，并且执行scp 远程复制脚本将sql文件发送到日志服务器上，并且在日志服务器crontab 定时执行sql文件导入脚本就可以实现信息的同步啦。

备注： 其实之前也想过在后端如php中查询接口输出数据并且入库这种，尝试后发现因为信息有点大执行入库操作需要修改配置文件后放弃了，另外因为业务服务器是在线上的，而且只需要一张表的信息就没有去做数据库同步，感兴趣的同学可以尝试下这种做法。