服务管理之rsync、svn

服务管理之rsync、svn

rsync

rsync简介

rsync是一款开源的、快速的、多功能的，可实现全量及增量(差异备份)的本地或远程数据同步备份的优秀工具

rsync软件适用于Unix、Linux、Windows等多种操作系统

1. 可使本地和远程两台主机之间的书快速复制同步镜像，远程备份的功能，这个功能类似ssh带scp命令，但又由于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝
2. rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，
3. 利用rsync还可以实现删除文件和目录的功能。相当于rm
4. rsync相当于scp,cp,rm，但是还优于它们每一个命令

在同步备份数据时，默认情况下rsync通过独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可以是根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以可以实现快速的同步备份数据

rsync特性

1. 支持拷贝特殊文件如链接文件，设备等
2. 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能
3. 可以做到保持源文件或目录的权限，时间，软硬链接，属主，组等属性均不改变 -p
4. 可以实现增量同步，即只同步发生变化的数据，因此数据传输的效率很高， tar -N
5. 可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密)
6. 可以通过soket(进程方式)传输文件和数据(服务端和客户端)
7. 支持匿名的或认证的(无需系统用户)的进程模式传输，可实现方便安全的进程数据备份及镜像

实时同步(解决存储服务器等单点问题)

李彤rsync结合inotify的功能做实时的数据同步，根据存储服务器上目录的变化，把变化的数据通过inotify结合rsync命令，同步备份到服务器

rsync的工作方式

大致使用三种主要的传输数据的方式

1. 单个主机本地之间的数据传输(此时类似于cp命令的功能)
2. 借助rcp,ssh等通道来传输数据(此时类似于scp命令的功能)
3. 以守护进程(socket)的方式传输数据(这个是rsync自身的重要功能)

rsync常用选项

-a, --archive	归档
-v, --verbose	啰嗦模式
-q, --quiet	静默模式
-r， --recursive	递归
-p， --perms	保持原有的权限属性
-z， --compress	在传输时压缩，节省带宽，加快传输速度
–delete	在源服务器上做的删除操作也会在目标服务器上同步

rsync+inotify

rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题

环境说明：

服务器类型	IP地址	应用	操作系统
源服务器	192.168.100.110	rsync inotify-tools 脚本	centos 8 stream
目标服务器	192.168.100.120