shell 同步mysql数据库_shell脚本：同步mysql数据库某个表

初衷：有时候我们想从另外一台数据库中同步某一个表到本地数据库中。

1、mysql login-path

mysql 在脚本中直接登录会报shell warning

Warning：Using a password on the command line interface can be insecure.

这么做确实是不安全。明文暴露了mysql的账号密码。由此，我们使用login-path

login-path是 MySQL5.6开始支持的新特性。通过借助 mysql_config_editor工具将登陆 MySQL服务的认证信息加密保存在 .mylogin.cnf文件(默认位于用户主目录) 。之后， MySQL客户端工具可通过读取该加密文件连接 MySQL，避免重复输入登录信息，避免敏感信息暴露。

mysql_config_editor使用帮助：

配置：

mysql_config_editor set --login-path=test --user=test_user --host=127.0.0.1 --port=3306 --password

示例：

vagrant@homestead:~/code$ mysql_config_editor set --login-path=xxx --host=127.0.0.1 --port=3306 --user=xxx --password

Enter password:

输入密码即可。会加密保存在.mylogin.cnf文件(默认位于用户主目录)

其中可配置项

-h,–host=name 添加host到登陆文件中

-G，–login-path=name 在登录文件中为login path添加名字(默认为client)

-p,–password 在登陆文件中添加密码(该密码会被mysql_config_editor自动加密)

-u，–user 添加用户名到登陆文件中

-S,–socket=name 添加sock文件路径到登陆文件中

-P，–port=name 添加登陆端口到登陆文件中

显示配置：

mysql_config_editor print --login-path=test #显示执行的login-path配置

mysql_config_editor print --all #显示所有的login-path信息

删除配置：

mysql_config_editor remove --login-path=test

其中可删除项

-h,–host=name 添加host到登陆文件中

-G，–login-path=name 在登录文件中为login path添加名字(默认为client)

-p,–password 在登陆文件中添加密码(该密码会被mysql_config_editor自动加密)

-u，–user 添加用户名到登陆文件中

-S,–socket=name 添加sock文件路径到登陆文件中

-P，–port=name 添加登陆端口到登陆文件中

重置配置:

mysql_config_editor reset --login-path=test

使用login-path登录：

shell>mysql --login-path=test

若要登录其他主机、其他端口，或者添加其他额外参数，直接在上述命令后添加即可。

shell>mysql --login-path=test -h host1 -P port1 #登录host1:poet1上的MySQL

shell>mysql --login-path=test -h host1 -P port1 test_db #登录host1:poet1上的MySQL中的test_db库

2、shell 脚本

# !/bin/bash

#Synchronize from the source database to the target database.

db_src=xxx //source database

db_tar=xxx //target database

table_name=xxx //table

#

# cache directory config

cach_dump=/home/vagrant/

# cache file

cache_file=xx.txt

# log

log_dir=/var/log/syncSql/

log_file=syncSql_$(date +"%Y-%m-%d").log

#

if [ ! -e $log_dir$log_file ]

then if [ ! -d $log_dir ]; then

sudo mkdir $log_dir;

else

exit && echo "------------Created ${log_dir} Failed. ------------" >> $log_dir$log_file

fi

if [ ! -d $log_file ]; then

cd $log_dir && sudo touch $log_file;

else

exit && echo "------------Created ${log_file} Failed. ------------" >> $log_dir$log_file

fi

sudo chown -R vagrant:vagrant $log_dir

fi

#

# define execute sql function

sqlrun_src(){

mysql --login-path=src <

$1

EOF

}

sqlrun_tar(){

mysql --login-path=tar <

$1

EOF

}

#

#

# do synchronize

tar_run="SELECT MAX(id) AS id FROM ${db_tar}.${table_name};"

if id_ori=$(sqlrun_tar "${tar_run}") && id=${id_ori#id}

then

if [ ${id} = NULL ]

then id=0

fi

echo "$(date +"%Y-%m-%d %H:%M:%S") Get Max id ${id}." >> $log_dir$log_file

else

exit && echo "$(date +"%Y-%m-%d %H:%M:%S") Get Max id Failed." >> $log_dir$log_file

fi

#

src_run="SELECT * FROM ${db_src}.${table_name} WHERE id > ${id};"

if sqlrun_src "${src_run}" > ${cach_dump}${cache_file}

then echo "$(date +"%Y-%m-%d %H:%M:%S") Write ${table_name} data OK." >> $log_dir$log_file

else

exit && echo "$(date +"%Y-%m-%d %H:%M:%S") Write ${table_name} data Failed." >> $log_dir$log_file

fi

#

if sed -i '1, $s/NULL/\\N/g' ${cach_dump}${cache_file} && /usr/bin/mysqlimport --login-path=tar --ignore-lines=1 --local ${db_tar} ${cach_dump}${cache_file} >> $log_dir$log_file

then echo "$(date +"%Y-%m-%d %H:%M:%S") Import ${table_name} data OK." >> $log_dir$log_file

else

exit && echo "$(date +"%Y-%m-%d %H:%M:%S") Write ${table_name} data Failed." >> $log_dir$log_file

fi

#

#

3、crontab 任务调度

结合Linux的contab自动任务自动同步。

基本格式 :

*　　*　　*　　*　　*　　command

分　 时　 日　 月　 周　 命令

第1列表示分钟1～59 每分钟用 或者/1表示

第2列表示小时1～23(0表示0点)

第3列表示日期1～31

第4列表示月份1～12

第5列标识号星期0～6(0表示星期天)

第6列要运行的命令

假设我想让同步数据脚本每2分钟同步一次

*/2　　*　　*　　*　　*　　/home/vagrant/syncSql.sh