【Cache】Rsync远程同步

已于 2023-07-05 08:49:58 修改
阅读量281 收藏
点赞数
分类专栏： Cache 文章标签： linux
于 2023-07-04 16:22:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/datangda/article/details/131537477
版权
文章详细介绍了rsync的概念、服务器部署步骤，包括环境配置、配置文件、数据文件、服务启动和客户端设置。还讨论了rsync的认证方式，下行和上行同步，并展示了如何结合inotify实现文件变化实时同步。最后，提到了使用rsync进行计划性任务和快速删除大量文件的方法。
摘要由CSDN通过智能技术生成

文章目录

一、rsync 概念

  rsync（Remote sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持文件原始权限（硬链接/软链接、属主等权限），且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

  在远程同步任务中，负责发起 rsypc 同步操作的客户机称为发起端，而负责响应来自客户机的 rsypc 同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

  官网网址：http://rsync.samba.org

二、rysnc 服务器部署

1. 环境配置

源服务器 	192.168.145.45
客户端 	 192.168.145.60

systemctl stop firewalld
setenforce 0

2. rysnc 同步源服务器

2.1 安装 rsync

systemctl stop firewalld
setenforce 0

rpm -q rsync		#一般系统已默认安装rsync
rpm -qc rsync		#查看相关文件位置

在这里插入图片描述

2.2 建立 rsyncd.conf 配置文件

vim /etc/rsyncd.conf				#添加以下配置项

uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.145.45									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.145.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.abc.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。

在这里插入图片描述

2.3 创建数据文件（账号密码）

vim /etc/rsyncd_users.db
backuper:abc123					#无须建立同名系统用户
#修改权限
chmod 600 /etc/rsyncd_users.db

在这里插入图片描述

#保证所有用户对源目录/var/www/html 都有读取权限
mkdir -p /var/www/html/
chmod +r /var/www/html/
ls -ld /var/www/html/

在这里插入图片描述

2.4 启动服务

rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行

在这里插入图片描述

#关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

2.5 数据配置

cd /var/www/html/
echo a > a.html
echo b > b.html

在这里插入图片描述

3. rysnc 客户端

rsync [选项] 原始位置 目标位置
常用选项含义
-r递归模式，包含目录及子目录中的所有文件。
-l对于符号链接文件仍然复制为符号链接文件。
-v显示同步过程的详细（verbose）信息。
-z在传输文件时进行压缩（compress）。
-a归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-p保留文件的权限标记。
-t保留文件的时间标记。
-g保留文件的属组标记（仅超级用户使用）。
-o保留文件的属主标记（仅超级用户使用）。
-H保留硬连接文件。
-A保留 ACL 属性信息。
-D保留设备文件及其他特殊文件。
–delete删除目标位置有而原始位置没有的文件。
–checksum根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

3.1 设置同步

方法一
rsync -avz backuper@192.168.145.45::wwwroot /opt/

在这里插入图片描述

方法二
rsync -avz rsync://backuper@192.168.145.45/wwwroot /opt/

在这里插入图片描述

3.2 免交互设置

echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass

在这里插入图片描述

rsync -avz --delete --password-file=/etc/server.pass rsync://backuper@192.168.145.45/wwwroot /opt/

在这里插入图片描述

4. rysnc 认证方式

  rsync有两种常用的认证方式，一种为 rsync-demon 方式，另外一种则是 ssh 。在一些场合，使用rsync-demon方式会比较缺乏灵活性，ssh 方式则成为首选。

-e 'ssh -p 22': rsync 使用 ssh 指定端口，端口如果是22默认端口则不用指定该参数。

4.1 下行同步

rsync -avz -e 'ssh -p 22' root@192.168.145.45:/var/www/html/ /opt/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-obSxNKKO-1688458438631)(C:\Users\86138\AppData\Roaming\Typora\typora-user-images\image-20230704150954830.png)]

4.2 上行同步

#rsync 同步源服务器
ls  #查看

#客户端
rsync -avz -e 'ssh -p 22' /opt/  root@192.168.145.45:/var/www/html/

在这里插入图片描述

5. 计划性任务

crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.145.45::wwwroot /opt/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

systemctl restart crond
systemctl enable crond

三、rsync + inotify

1. inotify 概念

  使用 inotiify 通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

  将 inotify 机制与 rsync 工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

  因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

2. 发起端配置 rsync+inotify

2.1 修改 rsync 源服务器配置文件

vim /etc/rsyncd.conf
......
read only = no											#关闭只读，上行同步需要可以写

在这里插入图片描述

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

在这里插入图片描述

2.2 调整 inotify 内核参数

  在Linux内核中，默认的inotify机制提供了三个调控参数：max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

在这里插入图片描述

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
sysctl -p

在这里插入图片描述

2.3 安装 inotify-tools（backuper）

  用 inotify 机制需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。

inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一旦变动立即输出结果。
inotifywatch：可用来收集文件系统变动情况，并在运行结果后输出汇总的变化情况。

tar zxvf inotify-tools-3.14.tar.gz -C /opt/

cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述

#可以先执行“inotifywait”命令，然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /opt/

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

在这里插入图片描述

2.4 使用脚本实时同步

在另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.145.45::wwwroot/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
	#如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done


chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local				#加入开机自动执行

  上述脚本用来检测本机/var/www/html 目录的变动情况，一旦有更新触发 rsync 同步操作，上传备份至服务器 192.168.145.45 的 wwwroot 共享目录下。
触发式上行同步的验证过程如下：

  • （1）在本机运行 /opt/inotify.sh 脚本程序。
  • （2）切换到本机的 /var/www/html 目录，执行增加、删除、修改文件等操作。
  • （3）查看远端服务器中的 wwwroot 目录下的变化情况。

3. 使用 rsync 来实现快速删除大量文件。

  假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

#先建立一个空的文件夹
mkdir /home/blank

#用rsync删除目标目录：
rsync --delete-before -a -H -v --progress --stats /home/blank/ /usr/local/nginx/proxy_temp/
#这样目标目录很快就被清空了


选项说明：
--delete-before 接收者在传输进行删除操作
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态

总结

#拉取/下行同步
rsync -avz 原始位置（同步源） 目标位置（本地目录）

rsync -avz 用户@地址::同步源共享模块名 本地目录
rsync -avz rsync://用户@地址/同步源共享模块名 本地目录
rsync -avz -e 'ssh -p 目标端口' 同步源共享目录 本地目录

#推送/上行同步
rsync -avz 目标位置（本地目录） 原始位置（同步源）

rsync -avz 本地目录 用户@地址::同步源共享模块名
rsync -avz 本地目录 rsync://用户@地址/同步源共享模块名
rsync -avz -e 'ssh -p 目标端口' 本地目录 同步源共享目录
我的宝贝大唐
关注
专栏目录
mac fswatch+rsync 实时同步远程文件
killtl的专栏
01-05 6652
远程实时同步文件  linux  上有inotify+rsync，mac上可以用fswatch+rsync 首先mac上通过包管理器brew 安装fswatch brew install fswatch，没有brew的自行去安装brew 有可能下载不下来fswatch，因为brew默认访问的https，对于这种情况，可以先 brew --cache (没有装xcode的还是装下吧) 找到br
rclone挂载基于rsync的增量同步到ceph的验证（一）
lv0918_qian的博客
11-10 2987
一.软件的下载和安装 1.下载rsync Rsync是一款远程同步的软件，需要在客户端和服务端同时安装配置。但是如果只在本地同步，就只需要下载安装客户端就行先下载rsync，参考链接：https://blog.csdn.net/qqchaozai/article/details/41245955 安装好客户端，cmd命令到安装路径的bin路径下，执行同步指令 2.下载rclone 参考链接：https://www.cnblogs.com/xzy186/p/14430650.html。 链接这
rsync远程同步
jinmusen的博客
08-01 226
（1）用于远程同步（2）支持本地复制，或者与其他SSH、rsync主机同步（3）官方网站: http://rsync.samba.org。
rsync数据备份
Garret2012的博客
09-18 141
开启LAMP-01和rhel-02两台虚拟机 1、挂载 清楚缓存 列出包 2、查看挂载之后的rsync包 3、安装rsync 4、查找rsync 5、启动rsync服务 6、查看873端口 7、拷贝本地文件 [root@LAMP-01 ~]# rsync -av /var/www/html stor/ 查看结果 8、同步文...
rsync执行后占用太多内存，清理缓存
lzcisaman的博客
03-31 3170
rsync占用过多内存 继续上篇，简介现状 A虚拟机做了一个nextcloud，搭建了私有网盘。 B虚拟机同样的系统环境，作为nextcloud的备份盘。 A机器计划任务执行的rsync cat /etc/crontab * 1 * * * root /var/www/sql/bak.sh cat /var/www/sql/bak.sh #! /bin/bash a=`date +%y-%m-%d` mysqldump -uroot -proot nextcloud_db > /var/w
文件服务-RSYNC
gxy_learning的博客
08-27 197
RSYNC 概述 定义 rsync是Linux下的一款数据镜像备份工具 sync数据同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新很快。 async数据异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。 rsync 远程同步：remote sync 特点 可以镜像保存整个目录树和文件系统 可以保持原来文件的权限，时间，软硬链接，属性等 无须特殊权限即可安装 文件传输效率高，增量传输，只对变更的部分进行传送 可以使用 rcp、ssh 等方式来传输文件，
rsync（本地、远程）文件同步
最新发布
qq961573863的博客
10-11 1842
sync同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级快。一般重启系统前执行sync命令async：将数据先缓存在缓冲区，再周期性（一般是30s）的去同步到磁盘。性能好，但是不能保证数据的安全性rsync：远程同步，remote synchronous。用于在本地或与远程主机间进行文件或目录备份。与其他文件传输工具（如 FTP 或 scp）不同，rsync 的最大特点是会检查发送方和接收方已有的文件，仅传输有变动的部分（默认规则是文件大小或修改时间有变动）
[linux]远程数据同步命令rsync
qq_41020281的博客
08-12 596
rsync是linux中远程数据同步工具，可以快速同步多台机器之间的文件，rsync使用rsync算法来进行数据的同步，只会传输两个文件之间的不同部分，所以在传输速度上特别快。 这里只讲讲本人工作中最常用的用法。相信很多人都是用ftp文件传输工具进行上传文件，之前我也使用ftp上传文件的，但是后来安装了wsl环境（在Windows10下运行linux子系统），可以在linux下操作相关命令了，所...
rsync同步工具介绍与部署
m0_67758799的博客
08-10 247
1. rsync简介 2. rsync特性 3. rsync的ssh认证协议 4. rsync命令 5. rsync+inotify 5.1 rsync+inotify组合的优势 5.2 rsync+inotify部署 在目标服务器上做以下操作： 在源服务器上做以下操作： 实时触发rsync进行同步 源服务器设置脚本开机自动启动： 源服务器重启后，生成新文件到目标服务器验证：...
Linux远程操作之rsync同步服务器搭建以及远程同步操作——基于centos7
owenxiaobai的博客
12-01 347
rsync同步服务器搭建以及远程同步操作
rsync备份海量文件时占用大量内存的解决方法
01-10
linux发行版中大多都自带rsync，不过版本比较低，一般都是2.6.X 在2.X的版本中，rsync备份时都是先列表再备份(添加或者删除)，在处理大量文件时，会耗费比较多的内存。 备份的时候，rsync扫描到的每个文件(目录也一样)，在它的列表中约占100字节的内存，如果加了–delete参数的话，占用的内存会更多。 例如我这里一台服务器，约800万的图片，而且更新比较频繁，文件数增长比较快，差不多每天增加约10万张。备份的时候，rsync大约占用了将近2G的内存，大量内存的占用，造成服务器物理内存不足，进而使用到swap，然后产生更高的iowait(交换内存)，进而造成rsync列表更慢
Rsync远程同步
weixin_67033761的博客
07-04 361
1
使用 rsync 同步
tianlianchao1982的专栏
05-10 1358
rsync -vzrtopg --include '*.bak' --include '*.bakcy' --include '*/' --exclude '*' --delete --progress  SvcCWRSYNC@192.168.5.115::test /cygdrive/d/test 使用 rsync 同步 内容提要 熟悉 rsync 的功能及其特点
rsync 文件校验及同步原理
萌萌的It人 www.itmmd.com
07-12 9259
参考：http://rsync.samba.org/how-rsync-works.html 我们关注的是其发送与接收校验文件的算法，这里附上原文和我老婆(^_^)的翻译:The Sender The sender process reads the file index numbers and associated block checksum sets one at a time from
RSYNC 服务介绍
热门推荐
不知道灬都不知道
05-26 1万+
RSYNC 服务介绍 一、rsync介绍 rsync功能 作为命令，实现本地-远程文件同步 作为服务，实现本地-远程文件同步 rsync特点 可以镜像保存整个目录树和文件系统 可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl,文件属性(attributes)信息等 传输效率高，使用同步算法，...
Linux下实现文件实时同步（rsync命令+rsync作为服务+xinetd托管rsync）
爱敲代码的三毛的博客
07-15 8067
sync同步刷新文件系统缓存，强制将修改过的数据写入磁盘块async异步将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘rsync远程同步=>remotesynchronoussync数据同步——>保存文件(目标)——>强制把缓存中的数据写入磁盘(立即保存)，适合实时性比较高的场景asyn数据异步——>保存文件(目标)——>将数据先放到缓冲区，再周期性(一般是30s)的去同步到磁盘，适合大批量数据同步场景。......
rsync踩过的坑
qq_16996597的博客
11-15 4102
sync首先可以采用ssh的方法进行远程数据传输， rsync -avzP -e'ssh -P22'  用户名@服务器ip：src   des(本地目录） 如果进行过ssh免密钥认证，这个方式也便捷，但是这个方式占用了22端口 下面介绍更常用的，以守护进程的方式启动rsync服务 在/etc下新建配置文件rsyncd.conf注意这个文件名不是可以随意起的 配置rsyncd.conf
Rsync原理详解及部署
weixin_33735077的博客
12-25 1320
Rsync介绍一、什么是rsyncrsync是一款开源，快速，多功能的可实现增量的本地或远程的数据镜像同步备份的优秀工具。适用于多个平台。从软件名称可以看出来是远程同步的意思（remote sync）。可使本地主机不同分区或目录之间及本地和远程两台主机之间的数据快速同步镜像，远程备份等功能。 在同步备份时，默认情况下，rsync通过其独特的“quick check”算法...
Rsync全网数据同步备份及检查
Testder探索者
07-16 975
客户端备份数据 #!/bin/bash # Definition variable IP=$(cat /etc/sysconfig/network-scripts/ifcfg-eno16777728 | awk -F= '/IPADDR/{print $2}') Path="/backup/$IP" [ ! -d $Path ] &am
rsync远程同步软件的高效使用指南
rsync可以用于本地磁盘、远程服务器以及通过SSH协议进行数据同步。rsync的基本命令格式简单，但支持多种选项和参数，这使得rsync变得非常灵活，适用于不同的同步需求。 rsync的同步操作基于差异备份原理，即首次...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我的宝贝大唐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值