rsync

rsync简介

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

rsync特性

rsync支持很多特性：

1.可以镜像保存整个目录树和文件系统
2.可以很容易做到保持原来文件的权限、时间、软硬链接等等
3.无须特殊权限即可安装
4.快速：第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
5.安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接
7.支持匿名传输，以方便进行网站镜像

rsync的ssh认证协议

1.rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：

• ssh协议
• rsync协议

rsync server端不用启动rsync的daemon进程，只要获取remote

• host的用户名和密码就可以直接rsync同步文件
• rsync
  server端因为不用启动daemon进程，所以也不用配置文件/etc/rsyncd.conf

2.ssh认证协议跟scp的原理是一样的，如果在同步过程中不想输入密码就用ssh-keygen -t rsa打通通

//这种方式默认是省略了 -e ssh 的，与下面等价：
rsync -avz /SRC -e ssh root@192.168.98.123:/DEST 
    -a  //文件宿主变化，时间戳不变
    -z  //压缩数据传输
 
//当遇到要修改端口的时候，我们可以：
rsync -avz /SRC -e "ssh -p2222" root@192.168.98.123:/DEST  
//修改了ssh 协议的端口，默认是22

rsync命令

//Rsync的命令格式常用的有以下三种：
    rsync [OPTION]... SRC DEST
    rsync [OPTION]... SRC [USER@]HOST:DEST
    rsync [OPTION]... [USER@]HOST:SRC DEST

//rsync常用选项：
    -a, --archive       //归档
    -v, --verbose       //啰嗦模式
    -q, --quiet         //静默模式
    -r, --recursive     //递归
    -p, --perms         //保持原有的权限属性
    -z, --compress      //在传输时压缩，节省带宽，加快传输速度
    --delete            //在源服务器上做的删除操作也会在目标服务器上同步

rsync+inotify

rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

实例

服务器类型：
源服务器，目标服务器

IP地址：

服务器	IP地址	应用	操作系统
源服务器	192.168.98.123	rsync 、inotify-tools 、 脚本	centos8
目标服务器	192.168.98.77	rsync	centos8

要求

• 把源服务器上/runtime目录同步到目标服务器/zdj/下

在目标服务器上座一下操作

关闭防火墙

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0

//安装rsync服务端软件
[root@localhost ~]# dnf -y install rsync

//设置rsyncd.conf配置文件
[root@localhost ~]# cat /etc/rsyncd.conf 
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock 
secrets file = /etc/rsync.pass    

[zdj]    
path = /zdj/         
comment = sync etc from client
uid = root        
gid = root       
port = 873   
ignore errors
use chroot = no
read only = no
list = no    
max connections = 200   
timeout = 600     
auth users = admin 


//创建用户认证文件
[root@localhost ~]# touch /etc/rsync.pass
[root@localhost ~]# echo 'admin:123456' > /etc/rsync.pass

//设置文件的权限
[root@localhost ~]# chmod 600 /etc/rsync* 
[root@localhost ~]# ll /etc/rsync*
-rw-------. 1 root root 367 6月   7 07:01 /etc/rsyncd.conf
-rw-------. 1 root root  13 6月   7 07:02 /etc/rsync.pass

设置开始自启编写配置文件

[root@localhost ~]# vim /etc/sysconfig/rsyncd
[root@localhost ~]# cat /etc/sysconfig/rsyncd
OPTIONS=""

[root@localhost ~]# vim /usr/lib/systemd/system/rsyncd.service
[root@localhost ~]# cat /usr/lib/systemd/system/rsyncd.service
[Unit]
Description=fast remote file copy program daemon

[Service]
User=root
Group=root
EnvironmentFile=/etc/sysconfig/rsyncd
ExecStart=/usr/bin/rsync --daemon --config=/etc/rsyncd.conf --no-detach
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
RestartSec=30s

[Install]
WantedBy=multi-user.target

[root@localhost ~]# systemctl daemon-reload  //刷新

设置开机自启

[root@localhost ~]# systemctl start rsyncd
[root@localhost ~]# systemctl enable rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@localhost ~]# ss -antl
State     Recv-Q    Send-Q         Local Address:Port         Peer Address:Port    Process    
LISTEN    0         128                  0.0.0.0:22                0.0.0.0:*                  
LISTEN    0         5                    0.0.0.0:873               0.0.0.0:*                  
LISTEN    0         128                     [::]:22                   [::]:*                  
LISTEN    0         5                       [::]:873                  [::]:*                      

在源服务器上做以下操作
配置yum源

[root@localhost ~]# yum -y install epel-release


//创建认证密码文件
[root@localhost ~]# echo '123456' > /etc/rsync.pass
[root@localhost ~]# cat /etc/rsync.pass 
123456

//设置文件权限，只设置文件所有者具有读取，写入的权限
[root@localhost ~]# chmod 600 /etc/rsync.pass 
[root@localhost ~]# ll /etc/rsync.pass 
-rw-------. 1 root root 7 6月   7 09:06 /etc/rsync.pass

//在源服务器上创建runtime目录，在目录下创建一个文件，写点东西
[root@localhost ~]# mkdir runtime
[root@localhost ~]# cd runtime/
[root@localhost runtime]# touch ajaja

[root@localhost ~]# rsync -avH --port 873 --progress --delete /root/runtime/ admin@192.168.98.123::lala --password-file=/etc/rsync.pass 
sending incremental file list
./
ajaja
              0 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=0/2)

sent 112 bytes  received 46 bytes  15.05 bytes/sec
total size is 0  speedup is 0.00

[root@localhost ~]# cd /zdj
[root@localhost zdj]# ll
总用量 0
[root@localhost zdj]# ll
总用量 0
-rw-r--r--. 1 root root 0 6月   7 10:02 ajaja
[root@localhost zdj]# ls
ajaja

//在目标服务器上显示同步数据成功


//安装inotify-tools工具，实时触发rsync进行同步

//安装inotify-tools工具
[root@localhost ~]# yum -y install inotify-tools

[root@localhost ~]# mkdir scripts
[root@localhost ~]# cd scripts/
[root@localhost scripts]# vim inotify.sh
[root@localhost ~]# chmod 755 scripts/inotify.sh 

编写同步脚本
[root@localhost scripts]# cat inotify.sh 
host=192.168.98.123
src=/runtime
des=lala
password=/etc/rsync.pass
user=admin 
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
    echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done


启动脚本
[root@localhost ~]# nohup /bin/bash /root/scripts/inotify.sh &
[1] 495600
[root@localhost ~]# nohup: 忽略输入并把输出追加到'nohup.out'

[root@localhost ~]# ps -ef|grep inotify
root      495600  343244  0 10:29 pts/1    00:00:00 /bin/bash /root/scripts/inotify.sh
root      495601  495600  0 10:29 pts/1    00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /runtime
root      495602  495600  0 10:29 pts/1    00:00:00 /bin/bash /root/scripts/inotify.sh
root      496752  343244  0 10:29 pts/1    00:00:00 grep --color=auto inotify


//在源服务器上会生成一个新的文件
[root@localhost ~]# cd /runtime/
[root@localhost runtime]# touch jisji
[root@localhost runtime]# ls
jisji
[root@localhost runtime]# tail /tmp/rsync.log
20210607 10:31 /runtime/jisjiCREATE was rsynced
20210607 10:31 /runtime/jisjiATTRIB was rsynced

设置开机自启

[root@localhost ~]# chmod +x /etc/rc.d/rc.local
[root@localhost ~]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 474 12月  1 2020 /etc/rc.d/rc.local
[root@localhost ~]# echo 'nohup /bin/bash /root/scripts/inotify.sh' >> /etc/rc.d/rc.local
[root@localhost ~]# tail /etc/rc.d/rc.local
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local

nohup /bin/bash /root/scripts/inotify.sh

在目标服务器上查看是否把新生成的文件自动上传了

[root@localhost ~]# cd /zdj/
[root@localhost zdj]# ls
ajaja  runtime
[root@localhost zdj]# cd runtime/
[root@localhost runtime]# ls
jisji

可以实现源服务器和目标服务器的数据同步。