镜像备份工具rsync

镜像备份工具rsync

1. 概述

什么是rsync？
rsync 即 Remote Sync 是linux系统下的数据镜像备份工具。使用rsync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

rsync有哪些特性？
可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等等
无须特殊权限即可安装
快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接
支持匿名传输，以方便进行网站镜像

rsync有哪些缺点？
rsync做数据同步时，需要扫描所有文件后进行对比，然后进行差量传输。如果文件很大，扫面文件是非常耗时的，而且发生变化的文件往往是很少一部分，因此rsync是非常低效的方式
rsync不能实时监测、同步数据，虽然它可以通过Linux守护进程的方式触发同步，但是两次触发动作一定会有时间差，可能导致服务器端和客户端数据出现不一致

rsync的使用场景
rsync适用于对小文件备份或实时同步，例如图片、配置文件等。
rsync可以解决对实时性要求不高的数据备份需求
定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像

2. rsync的认证协议

rsync 命令同步系统文件之前要先登录 remote 主机认证，认证过程中用到的协议有2种：
ssh协议
rsync协议

使用 rsync 命令，通过ssh认证协议来同步文件

rsync server 端不用启动 rsync 的 daemon 进程，只要获取 remote host 的用户名和密码就可以直接使用 rsync 命令同步文件
rsync server 端因为不用启动 daemon 进程，所以也不用配置文件 /etc/rsyncd.conf
//将服务端数据同步给客户端
rsync -avz /SRC -e ssh root@172.16.12.129:/DEST 
-a //文件宿主变化，时间戳不变
-z //压缩数据传输

//当遇到要修改端口的时候，我们可以：
rsync -avz /SRC -e "ssh -p222" root@172.16.12.129:/DEST

3. rsync命令详解

rsync常用的命令格式：
  rsync [OPTION]... SRC DEST
  rsync [OPTION]... SRC [USER@]HOST:DEST
  rsync [OPTION]... [USER@]HOST:SRC DEST
  
对应于以上三种命令格式，rsync有三种不同的工作模式：

1.拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式
如：rsync -a /abc /def  
相当使用cp命令，将文件重新拷贝一份并重命名

2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式
如：rsync -avz a.sh 192.168.207.130:/root/b.sh

3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式
如：rsync -avz 192.168.207.130:/root/abc /root/def

rsync命令常用选项：
	-a 参数，相当于-rlptgoD
		-r 是递归；-l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；
		-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件
	-v 传输时的进度等信息
	-q 精简输出模式
	-z 传输时压缩
	--delete 在源服务器上做的删除操作也会在目标服务器上同步

4. rsync+inotify

基于概述中所介绍的 rsync 不足的地方 rsync+inotify 组合出现了。

什么是inotify？
Inotify 是一个 Linux 内核特性，是一种强大的、细粒度的、异步的文件系统事件监控机制。linux内核从2.6.13起，加入了 Inotify 支持，通过 Inotify 可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools 就是这样的一个第三方软件
rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题

5.环境说明：

服务器类型	IP地址	应用	操作系统
源服务器	192.168.200.5	rsync inotify-tools脚本	centos8/redhat8
目标服务器	192.168.200.6	rsync rsync-daemon	centos8/redhat8

需求：把源服务器上/runtime目录实时同步到目标服务器的/lch/下

1. 在目标服务器上安装rsync服务端软件，并修改配置文件

[root@node2 ~]# yum -y install rsync rsync-daemon
[root@node2 ~]# vi /etc/rsyncd.conf 
# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

# uid = nobody
# gid = nobody
# use chroot = yes
# max connections = 4
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area
# 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
log file = /var/log/rsyncd.log
# pid文件的存放位置
pidfile = /var/run/rsyncd.pid
# 支持max connections参数的锁文件
lock file = /var/run/rsync.lock
# 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件
secrets file = /etc/.rsync.pass
  
# 自定义同步名称
[runtime]
# rsync目标服务端数据存放路径，源服务端的数据将同步至此目录
path = /root/lch
comment = sync etc from client
# 设置rsync运行权限为root
uid = root
# 设置rsync运行权限为root
gid = root
# 默认端口
port = 873
# 表示出现错误忽略错误
ignore errors
# 默认为true，修改为no，增加对目录文件软连接的备份
use chroot = no
# 设置rsync服务端为读写权限
read only = no
# 不显示rsync服务端资源列表
list = no
# 最大连接数
max connections = 200
# 设置超时时间
timeout = 600
# 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
auth users = admin
# 允许进行数据同步的源服务端IP地址，可以设置多个，用英文状态下逗号隔开
hosts allow = 192.168.200.5
 # 禁止数据同步的源服务端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 192.168.1.1

2. 在目标服务器上创建用户认证文件，并启动服务

[root@node2 ~]# echo 'admin:123456' > /etc/.rsync.pass
[root@node2 ~]# cat /etc/.rsync.pass 
admin:123456
[root@node2 etc]# chmod 600 /etc/.rsync.pass 
[root@node2 etc]# ll .rsync.pass 
-rw-------. 1 root root 13 Aug  9 19:37 .rsync.pass
[root@node2 etc]# systemctl start rsyncd
[root@node2 etc]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@node2 etc]# ss -antl
State       Recv-Q      Send-Q           Local Address:Port           Peer Address:Port      Process      
LISTEN      0           128                    0.0.0.0:22                  0.0.0.0:*                      
LISTEN      0           5                      0.0.0.0:873                 0.0.0.0:*                      
LISTEN      0           128                       [::]:22                     [::]:*                      
LISTEN      0           5                         [::]:873                    [::]:*                      
[root@node2 etc]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
   Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2022-08-09 19:42:49 CST; 26s ago
 Main PID: 14327 (rsync)
    Tasks: 1 (limit: 4744)
   Memory: 272.0K
   CGroup: /system.slice/rsyncd.service
           └─14327 /usr/bin/rsync --daemon --no-detach

Aug 09 19:42:49 node2 systemd[1]: Started fast remote file copy program daemon.

3. 在源服务器上安装rsync服务端软件，创建认证密码文件

[root@node1 ~]# yum -y install rsync
[root@node1 ~]# echo '123456' > /etc/.rsync.pass
[root@node1 ~]# chmod 600 /etc/.rsync.pass
[root@node1 ~]# ll /etc/.rsync.pass 
-rw-------. 1 root root 7 Aug  9 19:56 /etc/.rsync.pass

4. 在源服务器上创建同步目录，并手动执行同步命令

[root@node1 ~]# mkdir runtime
[root@node1 ~]# ls
anaconda-ks.cfg  runtime
[root@node1 ~]# mkdir runtime/test
[root@node1 ~]# ls runtime/
test
[root@node1 ~]# rsync -avH --port 873 --progress --delete /root/runtime/* admin@192.168.200.6::runtime --password-file=/etc/.rsync.pass
sending incremental file list
test/

sent 62 bytes  received 24 bytes  172.00 bytes/sec
total size is 0  speedup is 0.00
[root@node1 ~]# ls
anaconda-ks.cfg  runtime
[root@node1 ~]# ls runtime/
test
[root@node2 ~]# ls lch/
test

5. 安装inotify-tools工具

[root@node1 ~]# mkdir /scripts
[root@node1 ~]# cd /scripts/
[root@node1 scripts]# vi inotify.sh
# 目标服务器的ip(备份服务器)
host=192.168.200.6
# 在源服务器上所要监控的备份目
src=/root/runtime
# 自定义的模块名，需要与目标服务器上定义的同步名称一致
des=runtime
# 执行数据同步的密码文件
password=/etc/.rsync.pass
# 执行数据同步的用户名
user=admin
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
    echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
[root@node1 scripts]# nohup bash /scripts/inotify.sh &
[1] 10963
[root@node1 scripts]# nohup: ignoring input and appending output to 'nohup.out'

[root@node1 scripts]# ps -ef |grep inotify
root       10963    2096  0 20:18 pts/3    00:00:00 bash /scripts/inotify.sh
root       10964   10963  0 20:18 pts/3    00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /root/runtime
root       10965   10963  0 20:18 pts/3    00:00:00 bash /scripts/inotify.sh
root       10967    2096  0 20:18 pts/3    00:00:00 grep --color=auto inotify
[root@node1 scripts]# echo 'nohup bash /scripts/inotify.sh &'>> /etc/rc.d/rc.local
[root@node1 scripts]# chmod +x /etc/rc.d/rc.local
[root@node1 scripts]# cd 
[root@node1 ~]# ls runtime/
test
[root@node1 ~]# touch runtime/abc
[root@node1 ~]# rm -rf runtime/test/
[root@node1 ~]# ls runtime/
abc
[root@node2 lch]# ls
runtime
[root@node2 lch]# ls runtime/
abc