rsync远程同步

1、简介

rsync (Remote Sync，远程同步)是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、!镜像服务器等应用。

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

Rsync 是 Linux 系统下的数据镜像备份工具，使用快速增量备份工具 Remote Svnc 可以远程同步可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制，或者与其他 SSH、rsync 主机同步

2、同步方式

1. 完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。
2. 差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性）。
3. 增量备份：备份上次备份以后有变化的数据（他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性）

 备份的方式

1. 、发起端：负责rsync 同步操作的客户机叫做发起端，通知服务器我要备份你的数据
2. 备份源：负责响应来自客户机rsync 同步操作的服务器叫做备份源，需要备份的服务器
3. 、服务端：运行rsyncd服务，一般来说，需要备份的服务器
4. 、客户端：存放备份数据

rsync（Remote Sync）是一种用于文件和目录之间进行增量复制和同步的工具，它可以通过网络连接实现远程主机之间的文件同步。

rsync的远程同步概念如下：

1. 增量复制：rsync采用增量复制的方式进行文件同步。在首次同步时，会将所有源文件复制到目标位置；而在后续的同步过程中，只会传输发生变化的部分，即只复制已修改的文件和新增的文件，从而减少了数据传输的量，提高了同步效率。

2. 客户端-服务器模式：rsync使用客户端-服务器模式进行远程同步。通常情况下，一个主机作为rsync服务器，负责存储和提供同步的文件。而另一个主机则充当rsync客户端，负责从服务器获取和同步文件。

3. 差异比较算法：rsync利用差异比较算法来确定源文件和目标文件之间的变化。它会计算文件的哈希值或使用checksum来检测文件内容的差异，并只传输发生变化的部分。这样可以大大减少数据传输量，加快同步速度。

4. 保持文件属性：rsync可以保持文件的属性、权限和时间戳等元数据。在同步过程中，它会尽可能地保持源文件和目标文件的属性一致性，确保同步后的文件与原始文件的属性完全相同。

5. 安全传输：rsync可以通过SSH等安全协议进行远程同步，保障数据传输的安全性。使用加密的连接，可以防止敏感文件在传输过程中被窃取或篡改。

总之，rsync远程同步利用增量复制、差异比较算法和客户端-服务器模式，实现了高效、快速且可靠的文件同步。它是一个广泛应用于备份、文件同步和数据迁移等场景的工具。

rsync特性
支持拷贝特殊文件，如连接文件、设备等。

可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。

可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。

可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。

可以通过socket（进程方式）传输文件和数据（服务端和客户端）。

支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

常用rsync的命令

 常用

命令	说明
-r	递归模式，包含目录及子目录中的所有文件。
-l	对于符号链接文件仍然复制为符号链接文件。
-v	显示同步过程的详细（verbose）信息。
-z	在传输文件时进行压缩（compress）。
-a	归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”
-p	保留文件的权限标记。
-t	保留文件的时间标记。
-g	保留文件的属组标记（仅超级用户使用）
-o	保留文件的属主标记（仅超级用户使用）。
-H	保留硬连接文件。
-A	保留 ACL 属性信息。
-D	保留设备文件及其他特殊文件。
--delete	删除目标位置有而原始位置没有的文件。
--checksum	根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

配置源的两种表达方法

格式一：

用户名@主机地址::共享模块名

rsync -avz backuper@192.168.41.21::wwwroot /opt/

格式二：

rsync://用户名@主机地址/共享模块名

rsync -avz rsync://backuper@192.168.41.21/wwwroot /opt/

SCP和rsync都是用于文件传输的工具，但它们有一些区别。

1. 功能和用途：
   - SCP（Secure Copy）是一个基于SSH协议的文件传输工具，主要用于在本地主机和远程主机之间进行文件传输。它提供了加密和身份验证功能，可以确保数据安全传输。
   - Rsync是一个强大的文件传输和同步工具，可以在本地主机和远程主机之间进行增量文件传输和备份。它使用特殊的算法来仅传输更改的部分文件，从而提高传输效率。

2. 增量传输：
   - SCP每次传输文件时，都会将整个文件复制到目标主机，无论文件是否发生变化。这意味着对于大型文件或网络连接较慢的情况下，传输时间可能会很长。
   - Rsync使用增量传输方法，只传输源和目标文件之间的差异部分。这意味着只有修改过的部分才会被传输，从而减少了传输时间和带宽消耗。

3. 同步功能：
   - Rsync具有同步功能，可以确保源和目标主机上的文件保持一致。当源文件发生变化时，rsync会自动将更改的部分传输到目标主机，实现文件的同步。
   - SCP不具备自动同步功能，每次需要手动执行scp命令来传输文件。

4. 命令语法：
   - SCP的命令语法比较简单，使用`scp`命令即可进行文件传输，例如：`scp source_file destination_file`。
   - Rsync的命令语法相对复杂一些，可以指定各种参数和选项来实现不同的功能，例如：`rsync [options] source_file destination_file`。

综上所述，SCP适用于简单的文件传输需求，而rsync更适合用于增量文件传输和备份，并具备自动同步功能。

配置服务端与客户端的实验

前提首先关闭防火墙和增强功能

systemctl stop firewalld
setenforce 0

配置rsync源服务器

rpm -q rsync							#一般系统已默认安装rsync

 

建立/etc/rsyncd.conf 配置文件

vim /etc/rsyncd.conf				#添加以下配置项
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.10.18								    #监听地址
port 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.10.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。

为备份账户创建数据文件

vim /etc/rsyncd_users.db

赋权 

chmod 600 /etc/rsyncd_users.db

保证所有用户对源目录/var/www/html 都有读取权限

前提： 虚拟机必须安装httpd才才能继续

chmod +r /var/www/html/
ls -ld /var/www/html/

启动 rsync 服务程序

rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 
netstat -anpt | grep rsync

关闭 rsync 服务 

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

发起端配置

#将指定的资源下载到本地/opt 目录下进行备份。

格式一： rsync -avz backuper@192.168.41.22::wwwroot /opt/ #密码123456

格式二： rsync -avz rsync://backuper@192.168.41.22/wwwroot /opt/

免交互格式配置

echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass

crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.41.21::wwwroot /opt/
为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可

systemctl restart crond
systemctl enable crond