rsync

rsync

rsync简介

Rsync官方网站：https://rsync.samba.org/
Rsync是一款开源的、快速的、多功能的 可以实现全量以及增量的本地或者是远程的数据同步（拷贝）备份的优秀工具
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

rsync特性

可以镜像保存整个目录和文件系统
可以很容易做到保持原文件的权限、时间、软硬连接等
无须特殊权限即可安装
快速
第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件
rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的宽带
安全
可以使用scp、ssh等方式来传输文件
也可通过直接socket连接
支持匿名传输，以方便进行网站镜像

rsync命令

//Rsync的命令格式常用的有以下三种：
    rsync [OPTION]... SRC DEST
    rsync [OPTION]... SRC [USER@]HOST:DEST
    rsync [OPTION]... [USER@]HOST:SRC DEST

//对应于以上三种命令格式，rsync有三种不同的工作模式：
1）拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如：
[root@167 ~]# rsync -a test.sh zwl.sh
[root@167 ~]# ll
total 12
-rw-------. 1 root root 1248 Jun 27 20:13 anaconda-ks.cfg
-rwxr-xr-x. 1 root root   20 Jun 28 09:35 test.sh
-rwxr-xr-x. 1 root root   20 Jun 28 09:35 zwl.sh
[root@167 ~]#
2）使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包 \
含单个冒号":"分隔符时启动该模式。如：
[root@167 ~]# ls
abc  anaconda-ks.cfg  test.sh  zwl.sh
[root@167 ~]# echo "hello world" > abc
[root@167 ~]# rsync -avz abc root@192.168.159.168:/root/
The authenticity of host '192.168.159.168 (192.168.159.168)' can't be established.
ECDSA key fingerprint is SHA256:jGTQhYp91kV4cDrPjdie4fkXG5d6Ni4rIQNjFLcjKt4.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.159.168' (ECDSA) to the list of known hosts.
root@192.168.159.168's password:
sending incremental file list
abc

sent 97 bytes  received 35 bytes  20.31 bytes/sec
total size is 12  speedup is 0.09
[root@167 ~]#


[root@zwl ~]# ls
abc  anaconda-ks.cfg  outfile
[root@zwl ~]# cat abc
hello world
[root@zwl ~]#
3）使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径 \
包含单个冒号":"分隔符时启动该模式。如：
[root@167 ~]# rsync -avz root@192.168.159.168:/root/abc /root/test.sh
root@192.168.159.168's password:
receiving incremental file list
abc

sent 49 bytes  received 97 bytes  97.33 bytes/sec
total size is 12  speedup is 0.08
[root@167 ~]# ls
abc  anaconda-ks.cfg  test.sh  zwl.sh
[root@167 ~]# cat test.sh
hello world
[root@167 ~]#

rsync选项

-a 包含-rtplgoD
-r  同步目录时要加上，类似cp时的-r选项
-v 同步时显示一些信息，让我们知道同步的过程
-l  小写l保留软连接，例如A机器上面的文件有软连接所指向的文件，同步到B机器时同样也保留软连接。
-L 大写L加上该选项后，同步软链接时会把源文件给同步
-p 小写p保持文件的权限属性
-o 保持文件的属主
-g 保持文件的属组
-D 保持设备文件信息
-t 保持文件的时间属性
--delete 删除DEST中SRC没有的文件
--exclude 过滤指定文件，如--exclude “logs”会把文件名包含logs的文件或者目录过滤掉，不同步
-P 大写P显示同步过程，比如速率，比-v更加详细
-u 加上该选项后，如果DEST中的文件比SRC新，则不同步
-z z表示zip传输时压缩，传输到目标点后自动就解压了，只是在传输前或传输过程中减少网络资源带宽。

rsync+inotify

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出更好的要求，rsync 在高端业务系统中也逐渐暴露出了很多不足。
首先，rsync 在同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的，并且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。
其次，rsync 不能实时的去监测、同步数据，虽然它可以通过 linux 守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。
基于以上两种情况，可以使用 rsync+inotify 的组合来解决，可以实现数据的实时同步。
inotify 是一种强大的、细粒度的、异步的文件系统事件控制机制。linux 内核从 2.6.13 起，加入了 inotify 支持。通过 inotify 可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 正是实施监控的软件。在使用 rsync 首次全量同步后，结合 inotify 对源目录进行实时监控，只要有文件变动或新文件产生，就会立刻同步到目标目录下，非常高效实用。

部署rsync+inotify

环境说明

服务器类型	IP地址	应用	操作系统
源服务器（167）	192.168.159.167	rsync ；inotify-tools ；脚本	centos8
目标服务器（zwl）	192.168.159.168	rsync	centos8

目标服务器

//首先关闭防火墙和selinux
[root@zwl ~]# systemctl disable --now firewalld.service
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@zwl ~]# setenforce 0
[root@zwl ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
//安装rsync服务端软件
[root@zwl ~]# dnf -y install rsync rsync-daemon
//设置rsyncd.conf配置文件
[root@zwl ~]# cat /etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

# uid = nobody
# gid = nobody
# use chroot = yes
# max connections = 4
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area
log file = /var/log/rsyncd.log    # 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pidfile = /var/run/rsyncd.pid     # pid文件的存放位置
lock file = /var/run/rsync.lock   # 支持max connections参数的锁文件
secrets file = /etc/rsync.pass    # 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件

[etc_from_client]     # 自定义同步名称
path = /tmp/          # rsync服务端数据存放路径，客户端的数据将同步至此目录
comment = sync etc from client
uid = root        # 设置rsync运行权限为root
gid = root        # 设置rsync运行权限为root
port = 873        # 默认端口
ignore errors     # 表示出现错误忽略错误
use chroot = no       # 默认为true，修改为no，增加对目录文件软连接的备份
read only = no    # 设置rsync服务端为读写权限
list = no     # 不显示rsync服务端资源列表
max connections = 200     # 最大连接数
timeout = 600     # 设置超时时间
auth users = admin        # 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
hosts allow = 192.168.159.167   # 允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 192.168.1.1      # 禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
[root@zwl ~]#
//创建用户认证文
[root@zwl ~]# echo 'admin:123456' > /etc/rsync.pass
[root@zwl ~]# cat /etc/rsync.pass
admin:123456
[root@zwl ~]# chmod 600 /etc/rsync.pass
[root@zwl ~]# ll /etc/rsync.pass
-rw-------. 1 root root 13 Sep 23 11:14 /etc/rsync.pass
[root@zwl ~]#
//启动rsync服务并设置开机自启动
[root@zwl ~]# systemctl start rsyncd
[root@zwl ~]# systemctl enable rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@zwl ~]# ss -antl
State       Recv-Q      Send-Q           Local Address:Port             Peer Address:Port      Process
LISTEN      0           128                    0.0.0.0:22                    0.0.0.0:*
LISTEN      0           5                      0.0.0.0:873                   0.0.0.0:*
LISTEN      0           128                       [::]:22                       [::]:*
LISTEN      0           5                         [::]:873                      [::]:*
[root@zwl ~]#

源服务器

//首先关闭防火墙和selinux
[root@167 ~]# systemctl disable --now firewalld.service
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@167 ~]# setenforce 0
[root@167 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
[root@167 ~]#
//安装rsync服务端软件，只需要安装，不要启动，不需要配置
[root@167 ~]# dnf -y install rsync
//创建认证密码文件
[root@167 ~]# echo '123456' > /etc/rsync.pass
//设置文件权限，只设置文件所有者具有读取、写入权限即可
[root@167 ~]# chmod 600 /etc/rsync.pass
//在源服务器上创建测试目录，然后在源服务器运行以下命令
[root@167 ~]# mkdir -pv /root/etc/test
[root@167 ~]# rsync -avH --port 873 --progress --delete /root/etc/ admin@192.168.159.168::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
deleting .font-unix/
deleting .XIM-unix/
deleting .X11-unix/
deleting .Test-unix/
deleting .ICE-unix/
./
test/

sent 77 bytes  received 99 bytes  117.33 bytes/sec
total size is 0  speedup is 0.00
[root@167 ~]#
//运行完成后，在目标服务器上查看，在/tmp目录下有test目录，说明数据同步成功
[root@zwl ~]# ls /tmp/
test
[root@zwl ~]#
//安装inotify-tools工具，实时触发rsync进行同步
//查看服务器内核是否支持inotify
[root@167 ~]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Sep 23 12:08 max_queued_events
-rw-r--r--. 1 root root 0 Sep 23 12:08 max_user_instances
-rw-r--r--. 1 root root 0 Sep 23 12:08 max_user_watches
[root@167 ~]#
##如果有这三个max开头的文件则表示服务器内核支持inotify
//安装inotify-tools
[root@167 ~]# yum -y install make gcc gcc-c++
[root@167 ~]# yum -y install inotify-tools
//写同步脚本，此步乃最最重要的一步，请慎之又慎。让脚本自动去检测我们制定的目录下 \
//文件发生的变化，然后再执行rsync的命令把它同步到我们的服务器端去
[root@167 ~]# mkdir /scripts
[root@167 ~]# touch /scripts/inotify.sh
[root@167 ~]# chmod 755 /scripts/inotify.sh
[root@167 ~]# ll /scripts/inotify.sh
-rwxr-xr-x. 1 root root 0 Sep 23 12:16 /scripts/inotify.sh
[root@167 ~]# vim /scripts/inotify.sh
[root@167 ~]# cat /scripts/inotify.sh
host=192.168.159.168      # 目标服务器的ip(备份服务器)
src=/etc        # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=etc_from_client     # 自定义的模块名，需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass        # 执行数据同步的密码文件
user=admin          # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
    echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
[root@167 ~]#
//启动脚本
[root@167 ~]# nohup bash /scripts/inotify.sh &
[1] 5984
[root@167 ~]# nohup: ignoring input and appending output to 'nohup.out'

[root@167 ~]# ps -ef | grep inotify
root        5984    3955  0 12:20 pts/2    00:00:00 bash /scripts/inotify.sh
root        5985    5984  0 12:20 pts/2    00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /etc
root        5986    5984  0 12:20 pts/2    00:00:00 bash /scripts/inotify.sh
root        5988    3955  0 12:20 pts/2    00:00:00 grep --color=auto inotify
[root@167 ~]#
//在源服务器上生成一个新文件
[root@167 ~]# echo 'hello world' > /root/etc/hehe
[root@167 ~]#


[root@zwl ~]# cat /tmp/etc/hehe
hello world
[root@zwl ~]#

设置脚本开机自动启动

[root@167 ~]# chmod +x /etc/rc.d/rc.local
[root@167 ~]# echo 'nohup /bin/bash /scripts/inotify.sh' >> /etc/rc.d/rc.local
[root@167 ~]# tail /etc/rc.d/rc.local
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local

nohup /bin/bash /scripts/inotify.sh
[root@167 ~]#