rsync

最新推荐文章于 2024-04-07 21:00:12 发布

光明小学王小雨

最新推荐文章于 2024-04-07 21:00:12 发布

阅读量212

点赞数

分类专栏： Linux

本文链接：https://blog.csdn.net/qq_41475058/article/details/89475479

版权

Linux 专栏收录该内容

17 篇文章 1 订阅

订阅专栏

补充一篇参考基本命令和用法

一、简介

1、认识
Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快
Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试
此外，它在windows平台下也有相应的版本，如cwRsync和Sync2NAS等工具

2、原理
Rsync本来是用于替代rcp的一个工具，目前由rsync.samba.org维护，所以rsync.conf文件的格式类似于samba的主配置文件；Rsync可以通过rsh或ssh使用，也能以daemon模式去运行
在以daemon方式运行时Rsync server会打开一个873 端口，等待客户端去连接。连接时，Rsync server会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，以后则就只需进行增量备份

3、特点
1、可以镜像保存整个目录树和文件系统；
2、可以很容易做到保持原来文件的权限、时间、软硬链接等；
3、无须特殊权限即可安装；
4、优化的流程，使用同步算法，只比较变化的，文件传输效率高；
5、可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接；
6、支持匿名传输，方便网站镜像；也可以做验证，加强安全；

4、rsync的优点与不足
与传统的cp、tar备份方式对比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如，定期地备份文件服务器数据到远端服务器，对本地磁盘定期进行数据镜像等。
但是随着系统规模的不断扩大，rsync的缺点逐渐被暴露了出来。首先，rsync做数据同步时，需要扫描所有文件后进行对比，然后进行差量传输。如果文件很大，扫面文件是非常耗时的，而且发生变化的文件往往是很少一部分，因此rsync是非常低效的方式。其次，rsync不能实时监测、同步数据，虽然它可以通过Linux守护进程的方式触发同步，但是两次触发动作一定会有时间差，可能导致服务器端和客户端数据出现不一致。

二、基本操作

1、rsync格式

rsync [OPTION] … SRC   DEST
rsync [OPTION] … SRC   [user@]host:DEST
rsync [OPTION] … [user@]host:SRC   DEST
rsync [OPTION] … SRC   [user@]host::DEST
rsync [OPTION] … [user@]host::SRC   DEST

2、rsync常用选项

-a 包含-rtplgoD
-r 同步目录时要加上，类似cp时的-r选项
-v 同步时显示一些信息，让我们知道同步的过程
-l 保留软连接
-L 加上该选项后，同步软链接时会把源文件给同步
-p 保持文件的权限属性
-o 保持文件的属主
-g 保持文件的属组
-D 保持设备文件信息
-t 保持文件的时间属性
--delete 删除DEST中SRC没有的文件
--exclude 过滤指定文件，如--exclude “logs”会把文件名包含logs的文件或者目录过滤掉，不同步
-P 显示同步过程，比如速率，比-v更加详细
-u 加上该选项后，如果DEST中的文件比SRC新，则不同步
-z 传输时压缩

3、rsync本地同步，使用方法和cp一样

[root@backup /]# rsync -avz /etc/hosts /mnt/
sending incremental file list
hosts

sent 218 bytes  received 35 bytes  506.00 bytes/sec
total size is 350  speedup is 1.38
[root@backup /]# ls /mnt/
hosts

4、rsync通过ssh方式同步
rsync -avz -e ‘ssh -p 22’ /etc/hosts root@10.0.0.31:/mnt/

[root@backup /]# rsync -avz  -e 'ssh -p 22' /etc/hosts root@10.0.0.31:/mnt/ 

The authenticity of host '10.0.0.31 (10.0.0.31)' can't be established.
ECDSA key fingerprint is SHA256:Jy5PwOVrPz7x1n0h7tEYGTUzeEfQQZReDxj1e0J1Jtg.
ECDSA key fingerprint is MD5:64:37:40:d0:15:21:d2:7f:20:e1:dc:fe:c0:a5:f7:02.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.0.0.31' (ECDSA) to the list of known hosts.
root@10.0.0.31's password: 
sending incremental file list
hosts

sent 218 bytes  received 35 bytes  33.73 bytes/sec
total size is 350  speedup is 1.38

三、daemon模式

1、创建一个rsync 服务的用户

useradd rsync -s /sbin/nologin -M

2、创建backup文件夹并给rsync用户，管理本地目录

mkdir /backup
chown rsync.rsync /backup

3、创建一个虚拟用户密码文件，密码文件的权限一定要是600

[root@backup /]# cat etc/rsync.password
rsync_backup:oldboy

chmod 600 /etc/rsync.password

4、修改rsync配置文件

[root@backup /]# cat /etc/rsyncd.conf

uid = rsync
gid = rsync
use chroot = no 
max connections = 200 
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log

[backup]
path = /backup
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password

[nfsbackup]
path = /nfsbackup
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password

5、rsyncd.conf配置文件详解

port：指定在哪个端口启动rsyncd服务，默认是873端口。
 log file：指定日志文件。
 pid file：指定pid文件，这个文件的作用涉及服务的启动、停止等进程管理操作。
 address：指定启动rsyncd服务的IP。假如你的机器有多个IP，就可以指定由其中一个启动rsyncd服务，如果不指定该参数，默认是在全部IP上启动。
 []：指定模块名，里面内容自定义。
 path：指定数据存放的路径。
 use chroot true|false：表示在传输文件前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护，但缺点是需要以roots权限，并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true，如果你的数据当中有软连接文件，建议设置成false。
 max connections：指定最大的连接数，默认是0，即没有限制。
 read only ture|false：如果为true，则不能上传到该模块指定的路径下。
 list：表示当用户查询该服务器上的可用模块时，该模块是否被列出，设定为true则列出，false则隐藏。
 uid/gid：指定传输文件时以哪个用户/组的身份传输。在验证了客户端的请求后，在服务端以这个用户进行操作。
 auth users：指定传输时要使用的用户名，认证此模块的用户名
 secrets file：指定密码文件，该参数连同上面的参数如果不指定，则不使用密码验证。注意该密码文件的权限一定要是600。格式：用户名:密码
 hosts allow：表示被允许连接该模块的主机，可以是IP或者网段，如果是多个，中间用空格隔开。 
 当设置了auth users和secrets file后，客户端连服务端也需要用用户名密码了，若想在命令行中带上密码，可以设定一个密码文件
 rsync -avL test@192.168.36.130::test/test1/  /tmp/test8/ --password-file=/etc/pass 
 其中/etc/pass内容就是一个密码，权限要改为600

6、启动服务并加入开启自启动

/usr/bin/rsync --daemon
echo "/usr/bin/rsync --daemon" >>/etc/rc.loacl

7、编辑客户端密码文件设置文件权限600，密码文件只需要密码。
创建backup目录，本地先打包到这个目录，本地临时备份目录

[root@nfs01 ~]# cat /etc/rsync.password    
oldboy

chmod 600 /etc/rsync.password
mkdir -p /backup

8、进入目录然后创建100个文件

[root@nfs01 /]# cd backup/
[root@nfs01 backup]# touch stu{01..100}

9、推送到backup服务器，两种方法，ip地址后面的backup为模块名不是路径，如果出现权限不足的错误，把客户端和服务端的文件所属都改为rsync

rsync -avz /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

rsync -avz /backup/ rsync://rsync_backup@172.16.1.41/backup/ --password-file=/etc/rsync.password


[root@nfs01 backup]# rsync -avz /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
sending incremental file list
stu001
stu002
stu003
....
sent 5,552 bytes  received 1,930 bytes  14,964.00 bytes/sec
total size is 11  speedup is 0.

10、拉取

拉取：
rsync -avz rsync_backup@172.16.1.41::backup /tmp/ --password-file=/etc/rsync.password

rsync -avz rsync://rsync_backup@172.16.1.41/backup/ /tmp/ --password-file=/etc/rsync.password

11、排除：

rsync -avz  --exclude=a /tmp/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

rsync -avz --exclude={a,b} /tmp/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

12、无差异同步：服务器和客户端一致

rsync -avz –-delete /tmp/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password

四、Inotify监控实现实时备份

1、在rsync配置文件中增加一个nfsbackup模块
mkdir /nfsbackup

[nfsbackup]
path = /nfsbackup
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password

2、在客户端安装

yum install -y inotify-tools

实现从nfs客户端对nfs目录文件系统事件的实时监控

inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%T %w %f' -e modify,delete,create,attrib /backup

3、当监控到nfs目录文件系统事件发生变化后，触发rsync推送变化的文件
脚本 inotify.sh
在rsync客户端运行，即nfs虚拟机，新建一个窗口创建文件，在rsync服务端备份目录下watch ls 查看变化

#!/bin/bash
Path=/nfsbackup
Ip=172.16.1.41
/usr/bin/inotifywait -mrq --format '%W%f' -e close_write,delete $Path \
| while read file
   do
     cd $Path && \
     rsync -az ./ --delete rsync_backup@$Ip::nfsbackup --password-file=/etc/rsync.password
   done