使用rsync实现服务器数据备份和数据自动同步

一、rsync概述

rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具remote sync可以远程同步，可以在不同主机之间进行同步，可以实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式的备份或异地备份等应用。同时rsync支持本地复制，或者与其他ssh、rsync主机同步。

二、rsync特性和有点

1）可以镜像保存整个目录树和文件系统
2）可以很容易做到保持原来文件的权限、时间、软硬链接等等。
3）无须特殊权限即可安装
4）快速：第一次同步时rsync复制全部内容，但在下一次值传输修改过的内容
5）压缩传输：rysnc在传输的过程中可以实行压缩及解压缩操作，可以使用更少的带宽
6）安全：可以使用scp、ssh等方式来进行文件传输
7）支持匿名传输，以方便进行网站镜像
8）选择性保持：符号链接、硬链接、文件属性、权限、时间等

三、rync原理

1、运行模式和端口
1）采用C/S模式（实际上是一个点到点的传输，直接使用rsync命令即可完成）
2）rsync监听的端口是：873
2、四个名字的解释
1）发起端：负责发起rsync同步操作的客户端叫做发起端。通知服务器我要备份你的数据
2）备份源：负责响应来自客户端rsync同步操作的服务器叫做备份源，需要备份的服务器
3）服务端：运行rsyncd服务，一般来说，需要备份的服务器
4）客户端：存放备份数据。
3、数据同步方式
1）推push：一台主机负责吧数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况
2）拉pull：所有主机定时去找一台主机拉数据，可能就会导致数据缓慢
推：目的主机配置为rsync服务器，源主机周期性的使用rysnc命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）
拉：源主机配置为rysnc服务器，目的主机周期性的使用rync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）

四、rsync服务安装

1、由于rsync服务依赖xinetd服务，是使用超级服务来管理的，因此需要在目标机器上安装xined、rsync服务端
两台服务器都需要安装：
xuegod200是源主机；xuegod210是目标主机

[root@xuegod200 ~]# yum -y install xinetd rsync
[root@xuegod210 ~]# yum -y install xinetd rsync
[root@xuegod210 ~]# rsync --daemon #启动守护进程
[root@xuegod210 ~]# netstat -antup | grep rsync #查看rsync端口是否监听
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1706/rsync
tcp6 0 0 :::873 ::? LISTEN 1706/rsync

2、rsynv命令选项
(1) -a：–archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。
(2) -r：–recursive 复制所有下面的资料，递归处理。
(3) -p：–perms 保留档案权限，文件原有属性。
(4) -t：–times 保留时间点，文件原有时间。
(5) -g：–group 保留原有属组。
(6) -o：–owner 保留档案所有者(root only)。
(7) -D：–devices 保留device资讯(root only)。
(8) -l：–links 复制所有的连接，拷贝连接文件。
(9) -z：–compress 压缩模式，当资料在传送到目的端进行档案压缩。
(10) -H：–hard-links 保留硬链接文件。
(11) -A：–acls 保留ACL属性文件，需要配合–perms。
(12) -P：-P参数和 --partial --progress 相同，只是为了把参数简单化，表示传进度。
(13) --version：输出rsync版本。
(14) -v：–verbose 复杂的输出信息。
(15) -u：–update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件。
(16) --port=PORT：定义rsyncd(daemon)要运行的port(预设为tcp 873)。
(17) --delete：删除那些目标位置有的文件而备份源没有的文件。
(18) --password-file=FILE ：从 指定密码文件中获取密码。
(19) --bwlimit=KBPS：限制 I/O 带宽。
(20) --filter “-filename”：需要过滤的文件。
(21) --exclude=filname：需要过滤的文件。
(22) --progress：显示备份过程。
注释：通常常用的选项 –avz
-z的命令一般用在小文件进行压缩，数据量比较大的文件在传输的过程中就比较慢，如果再压缩传输会更加慢。所以根据需求来选择是否需要加这个参数

五、使用rsynv备份数据

例1：对xuegod63网站根目录/var/www/html目录备份到xuegod64的/web-back
服务器：xuegod63
客户端：xuegod64
步骤：
1、建立测试用户并增加密码（两台主机都需要操作）

[root@xuegod200 ~]# useradd rget1 && echo “123456”|passwd --stdin rget1
[root@xuegod210 ~]# useradd rget1 && echo “123456”|passwd --stdin rget1

2、创建/var/www/html目录，使用acl命令不修改原有属组和属主的情况下，给目录增加rget1的rwx

[root@xuegod200 ~]# mkdir -p /var/www/html
[root@xuegod200 ~]# setfacl -R -m user:rget1:rwx /var/www/html
[root@xuegod200 ~]# setfacl -R -m default:rget1:rwx /var/www/html
[root@xuegod200 ~]# getfacl /var/www/html/

3、cp备份数据

[root@xuegod200 ~]# cp -r /boot/* /var/www/html/
[root@xuegod200~]# ll !$

4、到xuegod64上创建备份目录 并授权rget1用户权限

[root@xuegod210 ~]# mkdir /web-back
[root@xuegod210 ~]# chown rget1: /web-back/
[root@xuegod210 ~]# ll /web-back/ -d
drwxr-xr-x 2 rget1 rget1 6 5月 13 23:16 /web-back/

5、使用rsync命令拷贝数据
使用rget1用户来进行拷贝

[root@xuegod200 ~]# rsync -avz /var/www/html/ rget1@xuegod210:/web-back/ #回车后输入对端密码

6、使用虚拟用户备份数据
1、rsync配置文件参数的详解
注释：centos7安装命令后自动生成，centos6安装命令后需要手动创建配置文件，不会自动生成
1）rsyncd.conf配置文件：
配置文件分为两部分：全局参数、模块参数。
全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。
模块参数：定义需要通过rsync输出的目录定义的参数。
2）全局参数模块：
port #指定后台程序使用的端口号，默认为873。
uid #该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。
gid #该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。
max connections #指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。
lock file #指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。
motd file #" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。
log file #" log file"指定rsync的日志文件，而不将日志发送给syslog。
pid file #指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。
hosts allow = #单个IP地址或网络地址，允许访问的客户机地址。
3） 常见的模块参数：
主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。
|Comment| | #给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
path #指定该模块的供备份的目录树路径，该参数是必须指定的。
read only #yes为只允许下载，no为可以下载和上传文件到服务器。
exclude #用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传（既不可访问）
exclude from #指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行
include #用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。
include from #指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users #该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿名方式）。
secrets file #该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。
hosts allow #指定哪些IP的客户允许连接该模块。定义可以是以下形式：
单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开。
整个网段，例如：192.168.0.0/24，也可以书写为192.168.0.0/255.255.255.0
“*”则表示所有，默认是允许所有主机连接。
hosts deny #指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
list #该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。
timeout #通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600

2、例：用配置文件定义目录输出
1）修改rsync配置文件

[root@xuegod210 etc]# cat rsyncd.conf | grep -v “^$|#”
uid = root #运行进程的身份
gid = root #运行进程的组
address =192.168.11.210 #监听的IP地址，本服务器的IP地址，写错会无法启动rsync服务
port =873 #监听端口
hosts allow =192.168.11.0/24 #白名单，允许同步的客户端的IP地址，可是网段或IP地址，*表示所有IP
use chroot = yes #是否锁定家目录，锁定后，无法修改其它目录
max connections =5 #最大链接数
pid file =/var/run/rsyncd.pid #进程PID文件，自动生成
lock file =/var/run/rsync.lock #max connections参数的锁文件
log file =/var/log/rsyncd.log #rsync的日志文件位置
motd file =/etc/rsyncd.motd #登录提示信息，需要手动创建
[wwwroot] #共享模块名称
path =/web-back/ #路径，存放的路径
comment = used for web-data root #描述信息
read only = false #设置服务端文件的读写权限
list = yes #是否允许查看模块信息
auth users = rsyncuser #虚拟用户
secrets file =/etc/rsync.passwd #密码文件，需要手动创建。格式：用户名：密码

2）创建相关文件并修改文件权限
创建提示信息文件

[root@xuegod210 etc]# echo “Welcome to Backup Server” >
/etc/rsyncd.motd
[root@xuegod210 ~]# chmod 600 /etc/rsyncd.motd
创建密码文件
[root@xuegod210 etc]# echo “rsyncuser:password123” > /etc/rsync.passwd
[root@xuegod210 ~]# chmod 600 /etc/rsync.passwd #修改密码文件的权限

3）启动服务（启动rsync和xinetd服务）

[root@xuegod210 etc]# systemctl start xinetd
[root@xuegod210 etc]# systemctl enable xinetd
[root@xuegod210 etc]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文件
[root@xuegod210 etc]# !nets
netstat -antup | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1706/rsync

4）测试
语法：rsync 选项 用户名@备份源服务器ip::共享模块名 目标目录

[root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot

5. 密码处理
   新建一个文件保存好密码，然后在rsync命令中使用–password-file指定次文件即可

[root@xuegod200 ~]# echo “password123” >> /root/passwd
[root@xuegod200 ~]# chmod 600 passwd
[root@xuegod200 ~]# rsync -avz /var/www/html/ rsyncuser@xuegod210::wwwroot --password-file=/root/passwd #指定文件

6）脚本实现定时自动备份

[root@xuegod200 ~]# vim autobackup.sh #编写脚本。
#!/bin/bash
rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot – password-file=/etc/rsync.passwd

7）定义计划任务实现定时备份

[root@xuegod63 ~]# echo “01 3 * * * sh /root/autoback.sh &” >> /var/spool/cron/root

注释：
1、address监听的地址，必须是rsync服务端的地址
2、创建的密码文件和登录提示文件的权限必须修改为600，不然执行rsync命令会报错

六、rsync+sersync实现数据实时同步

一台装sersync、一台装rsync服务
sersync服务器（数据源、源主机）：192.168.11.200
sysnc客户端（备份端、目标机器）：192。168.11.210
1、安装sersync安装包（上传rpm包到服务器，然后进行解压缩）

[root@xuegod200 opt]# tar xf
sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@xuegod200 opt]# mv GNU-Linux-x86/ sersync #改一个容易记得名字
[root@xuegod200 opt]# ls
rh sersync sersync2.5.4_64bit_binary_stable_final.tar.gz

注意：sersync是一个二进制安装包，不需要进行安装，直接tar解压后，可以直接使用

[root@xuegod200 opt]# cd rsync/
[root@xuegod200 sersync]# ls #这两个文件都是可执行文件
confxml.xml sersync2

2、配置sersync

[root@xuegod200 sersync]# cp confxml.xml confxml.xml.bak #修改配置前，先备份

2.1 修改配置文件中的24–28行，如下所示。

[root@xuegod200 sersync]# vim confxml.xml
<sersync>
<localpath watch="/var/www/html"> #本地同步数据目录。
<remote ip=“192.168.11.210” name=“wwwroot”/> #rsync模块名称

2.2 修改31–34行，认证部分（rsync密码认证）

<rsync>
<commonParams params="-artuz"/>
<auth start=“true” users=“rsyncuser” passwordfile="/etc/rsync.passwd"/>
<userDefinedPort start=“false” port=“874”/>
<timeout start=“false” time=“100”/>
<ssh start=“false”/>

 2.3 在服务端创建一个密码文件，因为配置文件需要调用密码文件
 [root@xuegod130 html]# echo passwd123 > /etc/rsync.passwd
 [root@xuegod130 html]# chmod 600 /etc/rsync.passwd

2.4 开启serysnc守护进程同步数据

[root@xuegod200 sersync]# /opt/sersync/sersync2 -d -r -o
/opt/sersync/confxml.xml

3、测试
在200的/var/www/html目录下增加、删除或修改目录文件，查看210的/web-back/目录的变化

[root@xuegod210 web-back]# watch ls -l

4、设置sersync监控开机自动执行

[root@xuegod200 ~]# vim /etc/rc.d/rc.local
[root@xuegod200 ~]# tail -1 !$
tail -1 /etc/rc.d/rc.local
/opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

5、添加脚本监控sersync是否正常运行

[root@xuegod200 ~]# vim /opt/check_sersync.sh
[root@xuegod200 ~]# cat !$
cat /opt/check_sersync.sh
#!/bin/bash
sersync="/opt/sersync/sersync2"
confxml="/opt/sersync/confxml.xml"
status=$(ps aux|grep ‘sersync2’|grep -v ‘grep’|wc -l)
if [ $status -eq 0 ];then
$sersync -d -r -o $confxml &
else
exit 0
fi

6、将脚本添加到定时任务，定义检查sersync是否正常

[root@xuegod200 ~]# crontab -e
no crontab for root - using an empty one
crontab: installing new crontab
[root@xuegod200 ~]# crontab -l
0 12 * * * sh /opt/check_sersync.sh