rsync文件同步

已于 2024-06-11 03:26:12 修改
阅读量1.3k 收藏 23
点赞数 28
分类专栏： 云计算运维 Linux实验室 文章标签： rsync 文件同步 中间件 inotify linux
于 2024-06-11 03:16:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18296979/article/details/139585343
版权

rsync文件同步

一、rsync简介

1、rsync 全名 Remote Sync，是类 UNIX 系统下的数据镜像备份工具。可以方便的实现本地、远程备份，rsync 提供了丰富的选项来控制其行为。

（1）Remote Sync, 远程同步 端口 873

（2）支持本地复制，或者与其他SSH、rsync 主机同步

（3）官方网站：https://rsync.samba.org/

2、rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

3、在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

4、rsync 是一个功能非常强大的工具，其命令也有很多功能选项，它的特性如下：

  • 可以保持文件原来的权限、时间、所有者、组信息、软硬链接等等
  • 可以从远程或者本地镜像保存整个目录树和文件系统
  • 无须特殊权限 super-user 即可安装使用
  • 快速：要比 scp (Secure Copy) 要快；第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，可以使用更少的带宽
  • 安全：可以使用 scp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接
  • 支持匿名传输，以方便进行网站镜像

在这里插入图片描述

二、同步方式

  1. 完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。
  2. 差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性）。
  3. 增量备份：备份上次备份以后有变化的数据（他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性）

备份的方式

  1. 发起端：负责rsync 同步操作的客户机叫做发起端，通知服务器我要备份你的数据
  2. 备份源：负责响应来自客户机rsync 同步操作的服务器叫做备份源，需要备份的服务器
  3. 服务端：运行rsyncd服务，一般来说，需要备份的服务器
  4. 客户端：存放备份数据

三、常用Rsync命令

#基本格式：
rsync [选项] 原始位置 目标位置

常用选项：
-r：递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-v：显示同步过程的详细（verbose）信息。
-z：在传输文件时进行压缩（compress）。
-a：归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-p：保留文件的权限标记。
-t：保留文件的时间标记。
-g：保留文件的属组标记（仅超级用户使用）。
-o：保留文件的属主标记（仅超级用户使用）。
-H：保留硬连接文件。
-A：保留 ACL 属性信息。
-D：保留设备文件及其他特殊文件。
--delete：删除目标位置有而原始位置没有的文件。
--checksum：根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

配置源的两种表达方法

1、

#用户名@主机地址::共享模块名
rsync -avz backuper@192.168.10.22::wwwroot /opt/

2、

rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.10.22/wwwroot /opt/

配置服务端与客户端的实验

#首先关闭防火墙和增强功能
systemctl stop firewalld
setenforce 0
服务器IP服务
服务端192.168.99.121rsync
客户端192.168.99.130rsync inotify-tools

rsync安装

yum install -y rsync

① 配置rsync源服务器（192.168.99.121）

#建立/etc/rsyncd.conf 配置文件

vim /etc/rsyncd.conf

uid = root
gid = root
use chroot = yes
address = 192.168.99.121
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.99.0/24
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
[rsync1]
path = /opt/testrsync
comment = test of rsync
read only = yes
auth users = backuper
secrets file = /etc/rsyncd_users.db
#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。


#为备份账户创建数据文件
vim /etc/rsyncd_users.db
backuper:123123 #无须建立同名系统用户
chmod 600 /etc/rsyncd_users.db

在这里插入图片描述

#保证所有用户对源目录/opt/testrsync都有读取权限
chmod +r /opt/testrsync/
ls -ld /opt/testrsync/
#启动 rsync 服务程序
rsync --daemon #启动 rsync 服务，以独立监听服务的方式（守护进程）运行
netstat -anpt | grep rsync

在这里插入图片描述

② 客户端（192.168.99.130）

格式一

#将指定的资源下载到本地/opt 目录下进行备份。
rsync -avz backuper@192.168.99.121::rsync1 /opt/ #密码123123

在这里插入图片描述
格式二

rsync -avz rsync://backuper@192.168.99.121/rsync1 /opt/

免交互格式配置

echo "123123" > /etc/server.pass
chmod 600 /etc/server.pass
在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

发起端（客户端）配置 rsync+inotify

在这里插入图片描述

1、rsync实时同步

（1）定期同步的不足

执行备份的时间固定，延迟明显，实时性差

当同步源长期不变时，密集的定期任务是不必要的

（2）实时同步的优点

一旦同步源出现变化，立即启动备份

只要同步源无变化，则不执行备份

2、Linux内核的inotify机制

可以监控文件系统的变动情况，并做出通知响应

辅助软件：inotify-tools

在生产中有一种需求是，当目录下的文件数据发生变化时，就将数据备份到备份服务器上。实现这样的需求需要做到以下两点：

  • 利用监控服务 inotify，监控到要同步服务器的目录文件的变化
  • 发现目录数据发生变化就利用 rsync 服务将数据发送到备份服务器

因此，利用 rsync+inotify 可实现数据的实时同步。
Inotify是一种强大的，细粒度的。异步的文件系统事件监控机制，linux内核从2.6.13起，加入了 Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种事件。 利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 正是实施这样监控的软件。
使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。
将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

实验准备

#首先关闭防火墙和增强功能
systemctl stop firewalld
setenforce 0
服务器IP服务
服务端192.168.99.121rsync
客户端192.168.99.130rsync inotify-tools

1．修改rsync源服务器配置文件

vim /etc/rsyncd.conf
......
read only = no #关闭只读，上行同步需要可以写
systemctl restart rsyncd

在这里插入图片描述

2．调整客户端 inotify 内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：
max_queue_events（监控事件队列，默认值为16384）、
max_user_instances（最多监控实例数，默认值为128）、
max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 128
fs.inotify.max_user_watches = 8192
sysctl -p

在这里插入图片描述

3．安装 inotify-tools

用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。

inotifywait -mrq -e modify,create,move,delete 目录

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

yum安装

yum install -y epel-release.noarch
yum install -y inotify-tools

4．在另外一个客户端终端编写触发式同步脚本

（注意，脚本名不可包含rsync 字符串，否则脚本不生效）

vim /opt/inotify.sh


#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/test/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/test/ backuper@192.168.99.121::rsync1/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
##while判断是否接收到监控记录
do
        echo d:$DIRECTORY
        echo e:$EVENT
        echo f:$FILE
if [ $(pgrep rsync | wc -l) -gt 0 ] ; then
$RSYNC_CMD
fi
done
chmod +x /opt/inotify.sh
chmod 777 /opt/test/
chmod +x /etc/rc.d/rc.local

echo '/opt/inotify.sh' >> /etc/rc.d/rc.local #加入开机自动执行

5. 测试

客户端
终端1

 ./inotify.sh

终端2

 cd /opt/test 
 touch test777

在这里插入图片描述
服务端

ls /opt/testrsync/

在这里插入图片描述

rsync的应用场景

1、增量同步
2、备份/迁移：可以作为辅助工具（mysql 主从复制 rsync +inotify ——>>趋于一致 双向同步——MM，但是只能在并发量不大的时候可以用）
3、假设mysql 从主机A迁移到主机B（一主两从模式）
一主两从模式迁移方案
①确定迁移的时间、业务线停止的时间、要写文档描述具体操作，要发邮件审批
②确认迁移后的节点的环境问题（资源环境 + 系统依赖环境 + mysql内部的格式环境）
1）例如自增长，自增长可能会导致主从复制不一致的情况
2）版本迁移问题，比如说低版本向高版本迁移。两个版本中的差异比较大，数据迁移比较重要，需要和
研发沟通，让研发开发一个工具，让低版本可以转成高版本工具格式，使用工具迁移)
③ 如果数据库是相同版本，可以用rsync + inotify持续同步
④ 测试、之前还要编写回滚方案
⑤ 提交检修申请 22：00 - 00：00

tips：

touch file {1..10000}

//使用rsync来实现快速删除大量文件。
假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存
等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

先建立一个空的文件夹：

mkdir /home/blank

用rsync删除目标目录：

rsync --delete-before -a -H -v --progress --stats /home/blank /usr/local/nginx/proxy_temp

这样目标目录很快就被清空了
选项说明：

--delete-before 接收者在传输进行删除操作
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态

在这里插入图片描述

划过手的泪滴t
关注
专栏目录
rsync实现同步文件
aaronszm的博客
11-06 4210
rsync介绍 rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，**scp每次都是全量拷贝，而rsync可以增量拷贝。**当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。...
Week12_Unit11_RSYNC文件同步服务.pdf
05-16
### RSYNC文件同步服务知识点 #### RSYNC服务概述 RSYNC（Remote Sync）是一个快速增量备份工具，用于在本地和远程主机之间同步文件和目录。其基本原理是在源和目标主机之间比较文件的差异，仅传输那些改变了的数据...
rsync实时同步(上行同步)
weixin_58376680的博客
04-08 1256
假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么“rm -rf *”可能就不好使了，因为要等待很长一段时间。用inotify机制还需要安装inotify-tools，以便提供inotifywait、inotifywatch辅助工具程序，用来监控、汇总改动情况。可以先执行“inotifywait”命令，然后另外再开启一个新终端向/var/www/html目录下添加文件、移动文件，在原来的终端上跟踪屏幕输出结果。
Rsync数据同步服务
最新发布
m0_73921566的博客
07-18 640
2. 获取数据pull 拉取，发送数据push推送数据对外提供服务——>端⼝监听——>==启动服务==——>启动脚本——>配置⽂件。案例：/dir1、/dir2与/dir3，/dir1中创建三个⽂件file1、file2、file3，使⽤rsync本地同步。# rsync -av /dir1/ /dir2 => 把/dir1⽬录中的所有⽂件拷⻉到/dir2⽬录中。（让dir1与dir2⽬录中的⽂件⾼度⼀致）# rsync -av /dir1 /dir3 => 把/dir1⽬录整体同步到/dir3⽬录中。
RSYNC---文件实时同步
刘某的博客
03-07 4123
rsync是类unix系统下的数据镜像备份工具。一款支持快速完全备份和增量备份的工具，支持本地复制，远程同步等，类似于scp命令；rsync 命令在同步文件之前要先登录目标主机进行用户身份认证，认证过后才能进行数据同步，身份认证方式取决于所使用的协议类型，rsync一般使用两种协议进行数据同步：ssh协议和rsync协议。
rsync 同步文件
小单的博客专栏
06-17 5943
rsync 同步文件
rsync 文件同步
05-03 3424
昨天上网找一个同步工具，windows同步到linux，额，ms不少，但是配置实在是麻烦，而且很多按照步骤做下来 都不能使用，(估计rp问题)，最郁闷的事莫过如此，经过一个下午的努力，额，原来真的行的，分享给大家。(估计很多人会觉得啰嗦) 一.介绍 (不想看直接可以跳过) Rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync本来是用以取代rcp的一
Centos rsync文件同步配置步骤分享
09-15
CentOS系统中，rsync是一个强大的文件同步工具，尤其在类UNIX环境中，它被广泛用于数据备份和镜像。rsync的主要功能在于它可以镜像整个目录树和文件系统，并且在后续的同步过程中，仅传输自上次同步以来发生改变的...
rsync 只同步目录结构不同步文件的方法
09-30
rsync 是一个强大的数据同步工具，广泛用于在本地或远程系统之间进行文件和目录的备份、迁移和同步。在某些情况下，我们可能只需要同步目录结构，而不需要同步实际的文件内容。例如，当我们想要快速创建一个新的空...
linux系统下rsync文件同步配置工作笔记linux操作系统电脑资料.doc
01-06
如果需要rsync服务随系统启动，可以将其加入到启动脚本中，如在/etc/init.d/下编辑rsync文件并启用服务。 在同步服务器上，你可以使用rsync命令从源服务器拉取数据。例如： ```bash # rsync -azv --delete rsync://...
Linux文件同步工具 --rsync
格鲁吉亚的拳击手的博客
08-06 311
Linux文件同步工具 --rsync 1、rsync常用选项 -a 包含-rtplgoD -r 同步目录时要加上，类似cp时的-r选项 -v 同步时显示一些信息，让我们知道同步的过程 -l 保留软连接 -L 加上该选项后，同步软链接时会把源文件给同步 -p 保持文件的权限属性 -o 保持文件的属主 -g 保持文件的属组 -D 保持设备文件信息 -t 保持文件的时间属性 --...
Rsync文件同步
li1121567428的博客
10-30 511
Rsync文件同步 Rsync是一个非常灵活的命令行网络同步工具，由于它在Linux和类unix系统上的普及，使它被默认包含在大多数Linux发行版中。它在同步文件或文件夹的同时，可以保持原来文件的权限、时间、软硬链接等附加信息, 它可以快速安全的传输数据，并且支持增量更新，传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽，不仅如此它还是开源软件。 环境： RenwoleServe...
烂泥：linux文件同步之rsync学习（一）
weixin_33787529的博客
01-14 139
2019独角兽企业重金招聘Python工程师标准>>> ...
7月19日学习笔记 Linux系统下数据同步服务RSYNC
weixin_70751701的博客
07-18 723
案例：/dir1、/dir2与/dir3，/dir1中创建三个⽂件file1、file2、file3，使用rsync本地同步。问题1：rsync远程同步数据时，默认情况下为什么需要密码？需要输⼊密码，需要免密，这个需要的密码也是使⽤sssh服务验证，所以，直接ssh免密。3.如果源⽬录不以/结尾，整个⽬录同步包含⽬录⽂件，带斜杠，只同步⽬录下的⽂件。5.同步的内容 ⽂件的新增 修改，删除(--delete) 属性（时间，权限）同步⽂件的内容，⽂件的属性 ⽂件的新增 修改 删除(--delete)
rsync实现文件同步
SYSGIS的专栏
07-25 996
1.服务器 server:192.168.8.111 client:192.168.8.112 2.系统，软件版本 Linux：centos6.5 rsync-3.0.6 3.配置文件 server端配置文件 /etc/rsyncd.conf 主配置文件 /etc/rsyncd.passwd 密码文件 /etc/rsyncd.motd rysnc服务器...
rsync同步文件
weixin_33966095的博客
06-15 949
2019独角兽企业重金招聘Python工程师标准>>> ...
用rsync进行文件同步
mush_me的专栏
09-12 104
实现将文件从10.0.80.194/rsync/www/的文件同步到/10.0.80.206/rsync/www/下 10.0.80.206为服务端，提供服务 10.0.80.194为客户端，将文件写入服务端 在两台机器上安装rysnc [code="java"]yum install rsync[/code] 1.先配置服务端10.0.80.206，vi /etc/rsyn...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值