【linux】使用rsync做数据同步

参考

Ubuntu Linux下用rsync进行数据备份和同步配制
参考的github工程
cwRsync提示password file must be owned by root when running as root的解决方法

有两台计算机均是ubuntu系统，但是其上有一些文件想要互相拷贝，虽然有其他替代方案，但是作为一个练习，学习rsync的使用还是很好的。并且在实际应用中，可能也需要用到rsync来同步文件，比如可以用此作为ftp中重要文件的备份策略。
这里仅尝试ubuntu系统下安装和测试可用性，并没有尝试windows系统。
以下是根据网上的资料执行后确认可行的方案，备份并且标注一些可能的问题。

背景

• 服务器的数据是非常重要的，一旦发生磁盘损坏就麻烦了。作为一个管理人员，对数据进行实时地同步备份那是很有必要的。
• 假如我的服务器A的ip为192.168.68.56, 我的备份客户机B的ip为192.168.68.61

服务器端的配制：

打开rsync作为服务器的开关

修改文件/etc/default/rsync的内容其中一行如下
RSYNC_ENABLE=true

新建配制文件/etc/rsyncd.conf 内容如下

#[globale]
strict modes = yes
#rsync default port
port = 873
logfile = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
max connections = 4
auth users = backup, user
secrets file = /etc/rsyncd.scrt

#[modules] each path responding to a module
[appbackup]
path = /home/aborn/backup
#hosts allow=9.4.122.24

[databackup]
path = /home/data

说明：
a) auth users 配制一定要和/etc/rsyncd.scrt里的用户名保持一致，但不一定是系统里的用户名，名字随便取，这里配置了两个用户，可以只配置一个，按需要配置即可

b) 要备份的每个路径为一个module，这里有两个路径分别对应module为[appbackup]和[databackup]
我使用的时候仅仅配置了一个module，具体module数量按照个人需求配置即可

c) hosts allow指明允许的地址，可以指定唯一的ip，允许访问同步服务器

d) 其余配置按需修改

新建密码文件/etc/rsyncd.scrt 对应内容如下：

backup:configurebackup@#$^&*()google
user:passwordpassword

这里有两个用户backup和user，冒号对应为密码，注意该文件属性为600 (其他用户没用读写执行权限)
权限命令：

sudo chmod 600 rsyncd.scrt

如果用户不是root想修改为root：

chown root  rsyncd.scrt

开启备份服务

 sudo /etc/init.d/rsync start

开户后可用

netstat -tupln

查看873端口有没有打开，若打开则成功

客户端配制

切换工作目录

假如当前工作目录为~/backup

创建密码文件

在当前工作目录创建密码文件rsyncd.scrt，内容和服务器端保持一样，属性也为600

创建配置文件client.conf

在当前工作目录创建配制文件client.conf，内容如下：

BACKUPPATH="/home/aborn/backup/";
SERVERIP="192.168.68.56"
MODULE="appbackup databackup"
#OPTIONS="-vazu --progress --delete"
OPTIONS="-vazu --progress"

说明:
其中BACKUPPATH为客户端数据存放路径
SERVERIP为服务器A机器的IP地址
MODULE为对应于服务端的/etc/rsyncd.conf下的module，多个module以空格分开

创建运行备份脚本 rsyncclient.sh

其内容如下

#!/bin/bash
##################################################################
# NAME
#    rsyncclient.sh  ---- running in client machine, which
#                      is used to backup data in client machine
#
# USAGE 
#    ./rsyncclient.sh
#
# AUTHOR
#  Aborn Jiang (aborn.jiang@gmail.com)
#
# NOTE    
#  pls configure the file client.conf and rsyncd.scrt
# 
##################################################################
ABSPATH=$(dirname $0)
source ${ABSPATH}/client.conf

function get-user-pwd()
{
# obtain usrname and password
    iUSR=$(cat ${ABSPATH}/rsyncd.scrt|tr -d ' ' |grep  -v "^$" | \
        grep -v "^#"|head -n 1|awk -F : '{print $1}')
    iPWD=$(cat ${ABSPATH}/rsyncd.scrt|tr -d ' ' |grep  -v "^$" | \
        grep -v "^#"|head -n 1|awk -F : '{print $2}')
    if [ -z ${iUSR} ] || [ -z ${iPWD} ];then
        echo "iUSR=$iUSR  iPWD=$iPWD" 
        echo "rsyncd.scrt format illegal, please check!";
        exit -1;
    fi

# produce password file
    echo "$iPWD" > ${ABSPATH}/.pass
    chmod 600 ${ABSPATH}/.pass
    [ ! -d $BACKUPPATH ] && mkdir -p ${BACKUPPATH}
}

function backup-module()
{
# print key information
    iModule=$1
    echo
    echo "---------------------------------------------------"
    echo "---- backup module ${iModule}@${SERVERIP} begin "
    echo "---- TIME=`date`----"
    echo "ABSPATH=${ABSPATH}"  
    echo "BACKUPPATH=${BACKUPPATH}"
    echo "iUSR=$iUSR  iPWD=$iPWD" 
    echo "OPTIONS=${OPTIONS}"
    iModuleBackpath=${BACKUPPATH}/${iModule};
    [ ! -d ${iModuleBackpath} ] && mkdir -p ${iModuleBackpath}

# begin backup
    rsync  ${OPTIONS}  ${iUSR}@${SERVERIP}::${iModule}  ${iModuleBackpath} \
        --password-file=${ABSPATH}/.pass
    if [ $? != 0 ];then
        echo "---- backup module ${iModule}@${SERVERIP} failed."
    else
        echo "---- backup module ${iModule}@${SERVERIP} succuess. "
    fi
    echo "---- TIME=`date`----"
    echo "---------------------------------------------------"
    echo 
}

function __main__()
{
    get-user-pwd
    for md in $MODULE
    do
        backup-module $md
    done
}

__main__

如果有异常

1. 如果提示连接超时，请检查服务端防火墙配置
   开启873端口

sudo ufw allow 873

或者允许来自192.168.68.61的所有请求

sudo ufw allow from 192.168.68.61

查看自己的防火墙配置

sudo ufw status

删除某个防火墙策略

sudo ufw delete allow 873

1. 如果提示密码用户不对，请修改.pass/rsyncd.scrt文件的权限和用户
   权限命令：

sudo chmod 600 rsyncd.scrt

如果用户不是root想修改为root：

chown root  rsyncd.scrt

.pass应该是自动生成的文件，执行的时候发现它所属的用户不是root，改成root后执行同步成功。