rsync

2301_80613136

于 2024-09-18 00:40:23 发布

阅读量1k

点赞数 24

文章标签： linux

本文链接：https://blog.csdn.net/2301_80613136/article/details/142321500

版权

文章目录

一，rsync同步
二，配置rsync备份源

一，rsync同步

1.rsync是什么

** rsync** 是一款高效的增量备份和文件同步工具，支持本地复制和远程主机之间通过SSH或rsync协议进行数据同步（远程同步），并具备增量传输、权限保留和排除文件等功能。

cp命令将完整的复制到指定目录下（全备）

rsync本地复制

（1）首先将源文件和目标位置的文件做对比,找出差异部分

（2）根据目的位置的文件与源文件差异的部分,进行一致性的同步

官网地址:http://rsync.samba.org

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。

Rsync是Linux系统下的数据镜像备份工具,使用快速增量备份工具·Remote Sync·可以远程同步,可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制,或者与其他SSH、rsync主机同步

2.同步方式

2.1备份的类型：

完整备份：每次备份时将源目录中的所有文件完整地备份到目标位置。
差量备份：只备份自上次完全备份后发生变化的数据，不会清除存档属性。
增量备份：备份上次备份后所有变化的数据，不管是什么类型的备份，只要有变化的数据就会备份。并清除存档属性

2.2rsync的使用流程：

发起端（通常是客户端）：负责运行 rsync，通知服务器它要进行备份，客户端发起数据备份请求。
备份端（通常是服务端）：负责接收来自客户端的备份请求，并执行相应的备份任务。
服务器端：通常需要运行 rsyncd 服务，用来响应客户端的备份请求。
客户端：存放备份数据。

3.rsync命令基本用法

3.1格式

rsync 选项 原始位置 目标位置

3.2常用选项

**-r**：递归模式，复制包含目录和其子目录中的所有文件。

**-l**：保持符号链接，即复制符号链接文件时，仍然保持为符号链接，而不是复制符号链接所指向的文件内容。

**-v**：显示详细信息，输出文件传输过程中的详细信息（verbose）。

**-z**：压缩文件，传输时对文件进行压缩，以减少带宽消耗，适合在网络上传输较大的文件。

**-a**：归档模式，相当于选项 **-rlptgoD** 的组合，表示递归复制并且保持文件的权限、时间戳、硬链接、属主、属组等属性。

**-p**：保留文件权限，复制时保持源文件的权限信息。

**-t**：保留文件时间戳，保持源文件的修改时间。

**-g**：保留属组信息，复制时保持源文件的属组标记（普通用户不可用，需超级用户权限）。

**-o**：保留属主信息，复制时保持源文件的属主标记（普通用户不可用，需超级用户权限）。

**-H**：保留硬链接，保持文件的硬链接关系。

**-A**：保留 ACL（访问控制列表）属性，适合有复杂文件权限控制的场景。

**-D**：保留设备文件及其他特殊文件，包括设备文件和符号链接等。

**--delete**：删除目标目录中有而源目录中没有的文件。适用于保持源和目标目录内容完全一致的场景。

**--checksum**：基于文件的校验和来判断文件是否相同，而不是通过文件大小和修改时间来判断是否需要更新。这个选项更准确，但速度较慢。

二，配置rsync备份源

rsync同步源指备份操作的远程服务器,也称为备份源。cs模式，rsync端口：873

1.指定源路径的两种写法

写法一

用户名@主机地址::共享模块名
例：
rsync -avz backuper@192.168.10.22::wwwroot /opt/

写法二

rsync://用户名@主机地址/共享模块名
例：
rsync -avz rsync://backuper@192.168.10.22/wwwroot /opt/

2.下行同步

下行同步（Downlink Synchronization）是指从远程服务器或源端下载数据到本地的过程。在数据同步的场景中，下行同步意味着将远程主机上的文件或数据同步到本地设备。这个过程常见于备份、文件同步等任务中，确保本地数据和远程服务器的数据保持一致。

2.1下行同步的常见应用场景：

备份远程服务器数据到本地：管理员会定期将远程服务器上的数据下载到本地，作为备份，以防止服务器端数据丢失或损坏。
镜像同步：公司内部可能有多个服务器或客户端，它们需要定期与远程的中心服务器同步数据，确保本地和远程服务器上的内容一致。下行同步通常是获取最新的文件更新。
网站镜像：运营网站时，会从主服务器下载内容到多个镜像服务器，分发给不同地理位置的用户。

2.2下行同步配置

服务端   

关闭防火墙和增强功能
systemctl stop firewalld
setenforce 0

配置rsync源服务器，先检测是否安装
rpm -q rsync 

配置/etc/rsyncd.conf 
vim /etc/rsyncd.conf	

添加以下配置项
uid = root
gid = root
use chroot = yes								     #禁锢在源目录
address = 192.168.88.60			         #监听地址
port = 873											     #监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log	     #日志文件位置
pid file = /var/run/rsyncd.pid	     #存放进程 ID 的文件位置
hosts allow = 192.168.88.0/24		     #允许访问的客户机地址黑白名单
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]												     #共享模块名称
path = /var/www/html						     #源目录的实际路径
comment = Document Root of www.xxx.com
read only = yes									     #是否为只读
auth users = backuper						     #授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db  #存放账户信息的数据文件

为备份账户创建数据文件
采用匿名的方式，将其中的“auth users”和“secrets file”配置项去掉即可。
vim /etc/rsyncd_users.db
backuper:123456				               #无须建立同名系统用户

给/etc/rsyncd_users.db文件授权
chmod 600 /etc/rsyncd_users.db


下载httpd
yum install -y httpd

让所有用户对源目录/var/www/html 都有读取权限
chmod +r /var/www/html/
ls -ld /var/www/html/

启动 rsync 服务程序
rsync --daemon				                #启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

查看rsync进程
netstat -anpt | grep rsync

创建测试网页内容
cd /var/www/html/
echo "this is pig" > index.html





客户端（发起端）
配置发起端
将指定的资源下载到本地/opt 目录下进行备份。
rsync -avz backuper@192.168.88.60::wwwroot /opt/				
或
rsync -avz rsync://backuper@192.168.88.60/wwwroot /opt/

配置免交互密码
echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass

设置计划任务
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.10.18::wwwroot /opt/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

重启,开启计划任务
systemctl restart crond
systemctl enable crond

服务端

客户端（发起端）

免密

在服务端加了

echo “this is pig1” >> index.html

echo “this is pig2” >> index.html

在客户端加点数据

vim /opt/html_backup/index.html

this is zhangsan

this is lisi

在同步过程中，rsync对比后将和源差异的部分删除，保证备份的一致性

3.上行同步（rsync+inotify结合使用）

3.1上行同步是什么

上行同步是将本地的数据同步到远程服务器上。rsync 是一个高效的文件同步工具，可以在本地和远程主机之间进行数据传输，同时支持增量传输和保持文件权限、符号链接等属性。

inotify 是一种工具，可以监控文件和目录的变化，比如文件被修改、删除或移动。通过这个工具，我们可以在文件发生变化时自动执行一些操作。结合 rsync，我们可以实现一个自动备份系统。具体做法是：

（1）监控文件夹：使用 inotify 实时监控某个文件夹的变化。

（2）触发备份：一旦监控到文件发生变化，就自动使用 rsync 工具将这些变化同步到备份服务器。

这样，就能保证每次文件发生变化时，备份服务器上也会立刻更新，避免了定期备份带来的延迟问题。这种方法特别适合需要频繁同步的情况，比如文件更新的开发环境或日志文件备份。

3.2上行同步配置

（1）设置和调整 rsync 和 inotify 以实现文件的实时同步和监控

发起端
修改rsync源服务器配置文件
vim /etc/rsyncd.conf
修改一下配置
read only = no											#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

chmod 777 /var/www/html/



同步源
调整 inotify 内核参数
在Linux内核中，默认的inotify机制提供了三个调控参数：
max_queue_events  （监控事件队列，默认值为16384）
max_user_instances（最多监控实例数，默认值为128）
max_user_watches  （每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

（2）安装 inotify-tools

使用 inotify 机制需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。

**inotifywait：**可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。

**inotifywatch：**可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。


tar zxvf inotify-tools-3.14.tar.gz -C /opt/

cd /opt/inotify-tools-3.14
./configure
make -j 4 && make install

** 如何使用 **inotifywait** 命令**来实时监控文件系统的变化，并在实际进行文件操作时观察监控结果的过程。

先执行“inotifywait”命令，然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。

例

inotifywait -mrq -e modify,create,move,delete /var/www/html

选项

-e：用来指定要监控哪些事件

-m：表示持续监控

-r：表示递归整个目录

-q：简化输出信息

192.168.88.60

192.168.88.70

（3）编写触发式同步脚本

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.88.60::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
##while判断是否接收到监控记录
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done

chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local				#加入开机自动执行

脚本用来检测本机 /opt/html_backup/目录的变动情况，一旦有更新触发 rsync 同步操作，上传备份至服务器 192.168.88.60 的 wwwroot 共享模块下。

触发式上行同步的验证过程如下：

（1）在本机运行 /opt/inotify.sh 脚本程序。

（2）切换到本机的 /opt/html_backup/ 目录，执行增加、删除、修改文件等操作。

（3）查看远端服务器中的 wwwroot 目录下的变化情况。

大批量的删除文件操作rsync可以实现，使用rm -rf太卡