Rsync 远程同步&& Inotify 监控部署

最新推荐文章于 2022-11-21 00:12:03 发布
最新推荐文章于 2022-11-21 00:12:03 发布
阅读量4.1k 收藏 8
点赞数 1
分类专栏： Web 服务器群集 文章标签： 服务器 网络 rsync inotify
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56444183/article/details/121304130
版权

目录

引言

提到数据的同步就必然会想到 rsync，一般简单的服务器数据传输会使用 ftp或 sftp 等方式，但是这样的方式效率其实并不高。因为并不支持差异化增量同步，也不支持数据的实时传输。针对数据的实时同步需求大多数人会选择 rsync结合 inotify 实时同步的方案。

一、Rsync 服务器

1. 简介

  • rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

  • rsync软件适用于unix/linux/windows等多种操作系统平台

  • rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

  • 以其delta-transfer算法闻名

  • rsync监听端口：873；rsync运行模式：C/S

  • 官方网站

mark

2. 同步方式

  • 全量备份：
  • 原有的数据全部传送
  • 把原来的文件和新的文件一起统一传送
  • 全量复制，效率低

3. 增量备份

  • 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输
    增量复制，效率高

4. rsync 命令

  • 语法格式
rsync [选项] 原始位置 目标位置
  • 常用选项
选项说明
-r递归模式，包含目录及子目录中的所有文件。
-l对于符号链接文件仍然复制为符号链接文件。
-v显示同步过程的详细（verbose）信息。
-z在传输文件时进行压缩（compress）。
-a归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”
-p保留文件的权限标记。
-t保留文件的时间标记。
-g保留文件的属组标记（仅超级用户使用）。
-o保留文件的属主标记（仅超级用户使用）。
-H保留硬链接文件。
-A保留ACL属性信息。
-D保留设备文件及其他特殊文件。
--delete删除目标位置有而原始位置没有的文件。
--checksum根据对象的校验和来决定是否跳过文件

二、配置 rsync 源服务器

1. Rsync 同步源

  • 在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源
  • 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限
  • 在上行同步中（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限
    img

2. Rsync 配置思路

#基本思路
建立rsyncd.conf配置文件、独立的账号文件
启用rsync的 --daemon模式
---------------------------------------------------------------------------------------------
#配置文件 rsyncd.conf
需手动建立，语法类似于Samba配置
认证配置 auth users、secrets file，不加则为匿名
---------------------------------------------------------------------------------------------
#rsync账号文件
采用“用户名:密码”的记录格式，每行一个用户记录
独立的账号数据,不依赖于系统账号
需要对应配置文件模块(使用不同的账号+功能模块，就可以使用不同的同步策略/方式
在使用同步时，我们需要指定账号+功能模块来指定我们同步的策略
---------------------------------------------------------------------------------------------
#启用 rsync 服务
通过"--daemon"独自提供服务（rsync --daemon）
执行"kill $(cat /var/run/rsyncd.pid)"关闭服务

#配置源的两种表示方法

#格式一
用户名@主机地址: :共享模块名.
rsync -avz backuper@192.168.8.14::wwwroot /root

#格式二
rsyne://用户名@主机地址/共享模块名
rsync -avz rsync:/ /backuper@192.168.8.14::/wwwroot /root

三、配置 rsync 远程同步

1. 环境准备

主机ip地址
rsync192.168.8.14
client192.168.8.15
  • 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

2. 下载并启动服务

#查看是否已安装，一般系统已默认安装rsync
rpm -q rsync
yum -y install rsync		 						#安装rsync
vim /etc/rsyncd.conf		 						#修改/etc/rsyncd.conf配置文件
-------------------------------------------------------------------------------------------------
#定义共享模块全局模块配置
uid = nobody	 									#root
gid = nobody	 									#root
use chroot = yes		 							#禁锢在源目录；禁锢的对象：使用用户的权限/身份；禁锢的目录就是源目录；源目录就是共享模块下的path = /var/www/html(源目录会在每个共享模块下)
address = 192.168.8.14	 							#监听地址
port 873		 									#监听端口/tcp/udp 873， 可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log 		 				#日志文件位置
pid file = /var/run/rsyncd.pid 		 				#存放进程ID的文件位置
hosts allow = 192.168.8.0/24 	 					#允许访问的客户机地址
-------------------------------------------------------------------------------------------------
#共享模块（可以为多个）  可以对应不同的“源目录” 和授权账号信息
[wwwroot]											#第一个共享模块
path = /var/www/html		 						#源目录的实际路径
comment = Document Root of www.1jm.com
read only = yes		 								#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型,即rsync -avz
auth users = backuper		 						#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db 		 		#存放账户信息的数据文件，即用户密码的地址
-------------------------------------------------------------------------------------------------
#如采用匿名的方式，只要将其中的"auth users" 和"secrets file" 配置项去掉即可
vim /etc/user.db		 					#为备份账户创建数据文件，存放用户和用户密码
backuper:abc123	 									#无需建立同名系统用户
chmod 600 /etc/user.db		

#保证所有用户对源目录/var/www/html 都有读的权限 				
mkdir -p /var/www/html
chmod +r /var/www/html/
ls -ld /var/www/html/

#启动rsync 服务程序
rsync --daemon	 									
netstat -antp | grep rsync 

uid = nobody
gid = nobody
use chroot = yes                                                
address = 192.168.8.14
port 873                                           
log file = /var/log/rsyncd.log                  
pid file = /var/run/rsyncd.pid                  
hosts allow = 192.168.8.0/24
[wwwroot]                                                               
path = /var/www/html                               
comment = Document Root of www.ljm.com	
read only = yes                                     
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z     
auth users = backuper                                
secrets file = /etc/user.db

在这里插入图片描述

3. 测试远程同步

rsync 端源目录下创建 abc 目录及 1.txt 文件
在这里插入图片描述

① 交互型：验证client端是否实现远程共享

rsync -avz backuper@192.168.8.14::wwwroot /abc/	 			#clietnt进程远程共享

在这里插入图片描述

② 无交互型

[root@client abc]# rm -rf 1.txt		
[root@client abc]# ls
[root@client abc]# cd ..
[root@client /]# vim /etc/server.pass
[root@client /]# cat /etc/server.pass
abc123
[root@client /]# chmod 600 /etc/server.pass
[root@client /abc]#rsync -avz backuper@192.168.8.14::wwwroot /abc/
Password: 
receiving incremental file list
./
1.txt

sent 49 bytes  received 99 bytes  26.91 bytes/sec
total size is 0  speedup is 0.00


[root@client /]# cd /abc
[root@client abc]# ls
1.txt

在这里插入图片描述

③ 如果服务端没有1.txt文件，但是本地 client 端有1.txt，是否可以同步呢？

#服务端
[root@rsync ~]# cd /var/www/html
[root@rsync html]# ls
1.txt
[root@rsync html]# rm -rf 1.txt									#删除共享文件
[root@rsync html]# ls
[root@rsync html]# 
#client客户端操作共享发现仍存在1.txt
[root@client ~]# cd /abc
[root@client abc]# ls
1.txt
[root@client abc]# rsync -avz --password-file=/etc/server.pass backuper@192.168.8.14::wwwroot /abc
Password: 
receiving incremental file list
./

sent 27 bytes  received 47 bytes  29.60 bytes/sec
total size is 0  speedup is 0.00
[root@client abc]# ls
1.txt

在这里插入图片描述

在这里插入图片描述

如果想要实现的是同步那么应该本地1.txt也被删除掉，加上–delete即可实现

[root@client /abc]#rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.8.14::wwwroot /abc
receiving incremental file list
deleting 1.txt

sent 19 bytes  received 34 bytes  106.00 bytes/sec
total size is 0  speedup is 0.00

在这里插入图片描述

在这里插入图片描述

4. rsync 实时同步的优缺点

  • 定期同步的不足
    ① 执行备份的时间固定，延迟明显、实时性差
    ② 当同步源长期不变化时，密集的定期任务是不必要的
    ③ 需要人为触发，shell脚本或者crontab

  • 实时同步的优点
    ① 一旦同步源出现变化，立即启动备份
    ② 只要同步源无变化，则不执行备份

四、Inotify 简介

1. inotify 是什么

  • Inotify 是一个 Linux 内核特性，它监控文件系统，并且及时向专门的应用程序发出相关的事件警告，比如删除、读、写和卸载等操作，还可以跟踪活动的源头和目标等细节

  • Inotify 反应灵敏，用法非常简单，并且比 cron 任务的繁忙轮询高效得多

2. Inotify 的使用

可以监控文件系统的变动情况，并做出通知响应，辅助软件是 inotify-tools

  • 调整 inotify 内核参数（优化）
/etc/sysctl.conf 									#内核参数配置文件 
inotifywait：										#用于持续监控，实时输出结果
inotifywatch：										#用于短期监控，任务完成后再输出结果
max_queue_events    								#监控事件队列大小
max_user_instances  								#最多监控实例数
max_user_watches    								#每个实例最多监控文件数

持续监控并实时输出监控结果的命令-inotifywait

  • 格式 inotifywait 参数解析
常见参数说明
-m持续进行监控
-r递归监控所有子对象
-q简化输出信息
-e指定要监控哪些事件类型

五、rsync + inotify 实时同步部署

1. 服务端修改 rsync 配置文件

vim /etc/rsyncd.conf
	uid = root		 										#修改为root
	gid = root		 										#修改为root
	[wwwroot]
	read only = no		 									#关闭只读，上行同步需要可写权限
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
rsync --daemon		 										#启动rsync
netstat -natp | grep rsync		 							#验证是否开启成功

在这里插入图片描述

2. client 修改 inotify 内核参数

vim /etc/sysctl.conf
	fs.inotify.max_queued_events = 32768		 			#监控时间队列，默认为16384
	fs.inotify.max_user_instances = 1024		 			#最多监控实例数，默认为128
	fs.inotify.max_user_watches = 1048576		 			#每个实例最多监控文件数，默认为8192
当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值
sysctl -p		 											#刷新生效

在这里插入图片描述

fs.inotify.max_queued_events = 32768                                    
fs.inotify.max_user_instances = 1024                                            
fs.inotify.max_user_watches = 1048576

3. client 安装 inotify-tools

yum -y install gcc gcc-c++
tar -zxvf inotify-tools-3.14.tar.gz -C /opt
cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述

在这里插入图片描述

4. 执行“inotifywait"命令，查看监控结果

  • 持续监控目录abc下的操作并时时输出结果，这时复制 client 的客户端开启新的会话，在abc下面目录下添加文件、移动文件，跟踪屏幕输出结果
inotifywait -mrq -e modify,create,move,delete /abc

在这里插入图片描述

在这里插入图片描述

5. client 端编写触发同步脚本

删除掉rsync端的1.txt

#客户端
vim /opt/inotify.sh 

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"
RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.8.14::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE 
do
	if [ $(pgrep rsync | wc -l) -le 0 ]; then
		$RSYNC_CMD
	fi
done

chmod +x /opt/inotify.sh
chmod +x /etc/rc.d/rc.local 										#启动脚本
echo "/opt/ inotify.sh"  >> /etc/rc.d/rc.local
sh -x inotify.sh		 											#允许同步脚本

#再开一个客户端会话，创建一个文件
cd /opt
touch 1.txt
  • 脚本详解
  • INOTIFY_CMD：持续监听并时时报告指定目录下的报告
  • RSYNC_CMD：把本地推送到对方192.168.35.40同步源的共享目录里面
  • inotify_cmd：监听abc的动态变化，但是无法同步，这时就需要rsync -apzH(H：符号连接)将abc目录下的数据同步，那么同步给谁，backuper@192.168.8.14::wwwroot/：表示同步给rsycn源服务器；数据同步指的是：本地abc的内容同步给wwwroot的模块内/var/www/html内

6. 测试

  • client 端abc目录下 创建文件 1.txt
[root@client /opt/inotify-tools-3.14]#cd /
[root@client /]#cd abc/
[root@client /abc]#ls
2.txt  inotify-tools-3.14.tar.gz
[root@client /abc]#
[root@client /abc]#ls
2.txt  inotify-tools-3.14.tar.gz
[root@client /abc]#touch 1.txt
[root@client /abc]#ls
1.txt  2.txt  inotify-tools-3.14.tar.gz
  • rsync 服务端查看是否同步
[root@rsync /var/www/html]#ls
1.txt  2.txt  inotify-tools-3.14.tar.gz

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

总结

  • rsync 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

  • 使用 inotify 可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

头发莫的了呀
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
rsync同步+inotify实时同步部署
零下二度的博客
03-09 3691
目录一、rsync简介二、rsync同步源三、配置rsync源1、基本思路2、rsync命令3、配置源的两种表达方式4、免交互格式四、配置rsync远程同步1、关防火墙、安装相应的软件2、建立/etc/rsyncd.conf 配置文件3、为备份账户创建数据文件4、保证所有用户对源目录/var/www/html（需要备份的文件目录）都有读取权限5、启动 rsync 服务程序6、修改从节点配置文件7、验证8、企业中不可能手动执行，一般都要使用周期性任务五、inotify简介1、调整inotify内核参数（优化）
inotify+rsync实现实时同步部署
weixin_30432179的博客
08-22 131
1.1.架构规划 1.1.1架构规划准备 服务器系统 角色 IP Centos6.7 x86_64 NFS服务器端（NFS-server-inotify-tools） 192.168.1.14 Centos6.7 x86_64 rsync服务器端(rsync热备服务器) 192.168.1.17 1.1.2架...
rsync下行同步+inotify实时同步部署
oyyy3的博客
12-13 926
目录 一.rsync 1.rsync简介 2.rsync服务器 3.同步方式 4.rsync命令 5.配置源的两种方法 二.本地复制操作（下行复制） 1.master:192.168.68.200 2.client:192.168.68.30 三.inotify介绍 四.resync+inotify实施同步操作 1.master:192.168.68.200 2.client:192.168.68.30 3.master:192.168.68.200验证 4.client:19
rsync(下行同步)+inotify同步部署
灵魂在求知中净化。。。
07-17 123
rsync（下行同步）+inotify同步部署rsync的远程同步inotify使用说明搭建rsync同步源服务器实现rsync + inotify实时同步 问题：服务端同步目录突然同步了客户端的目录是什么情况？ 在于用户需要指定哪一个主机是被同步。 rsync的远程同步 提供了异地方便可靠的同步操作。即快速，又安全，还提供高效的异地备份。 Rsync提供的最大的能力就是同步（可以同步整个目录树，支持增量备份，还能保持链接和权限），通过一种同步算法在同步的传输前会进行执行压缩（算法执行压缩），所以适用于异地
使用rsync+inotify实现目录实时同步
liaowunonghen的专栏
03-16 190
一 rsync 安装脚本 #!/bin/bash #rsync RY="/usr/bin/rsync" if [ $(whereis rsync|cut -d' ' -f2) = ${RY} ];then touch /etc/rsyncd.conf else yum install rsync -y touch /etc/rsyncd.conf fi # 创建配置文件 \cp $...
inotify+rsync实现实时同步的方法
09-15
具体实现方法是通过编写脚本，当inotify监控到文件或目录变化时，执行rsync命令进行同步。 【部署inotify】 在部署inotify之前，需要确保你的Linux系统内核版本在2.6.13或以上。你可以通过检查/proc/sys/fs/...
服务器目录实时同步部署手册_rsync.docx
02-21
《服务器目录实时同步部署手册——基于rsync与inotify》 在现代的IT环境中，保持数据的一致性和可用性至关重要。对于多服务器架构，实时文件同步成为了一个必要且高效的解决方案。本文将详细介绍如何利用rsync和...
rsync+inotify实时同步
01-09
rsync在远程同步中分为发起端（client）和同步源（server）。发起端负责执行同步操作，同步源则提供需要备份的文件。当rsync作为同步源运行时，通常以守护进程（daemon）模式运行，通过配置文件`/etc/rsyncd.conf`...
linux系统中通过rsync+inotify实现网页自动同步
09-15
通过 `inotify`，我们可以实现实时监控主服务器上文件的变动，并在文件发生变化时立即触发 `rsync` 同步操作。 以下是在主从服务器上配置 `rsync` 和 `inotify` 的步骤： 1. **在从服务器上配置 `rsync`**： - ...
rsync+inotify实现linux服务器之间文件实时+双向同步.docx
06-22
此外，rsync还可以通过SSH协议进行安全的远程同步。 **inotify介绍** inotify是Linux内核提供的一个API，用于监视文件系统的创建、删除、修改等事件。当文件或目录发生变化时，inotify会触发相应的事件，并将这些...
rsync 远程数据同步
L2111533547的博客
07-05 1063
引言： rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。 已支持跨平台，可以在Windows与Linux间进行数据同步。①rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。②rsync软件适用于unix/linux/windows等多种操作系统平台③rsync是一个快速和非常同样的文件复制工具。它
Kubernetes高可用动态存储NFS集群
Jack_LI的博客
06-21 810
Kubernetes高可用动态存储NFS集群
关于Linux中文件同步inotify+rsync(配置篇)
hobby云说
11-16 825
看完inotify和rsync的原理（关于Linux中文件同步inotify+rsync(介绍篇)），接下来就是该如何配置了。 安装环境 CentOS 7 1810 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux 要安装inotify先要确定是否能进行使用 l...
Rsync下行同步+inotify实时同步介绍和部署
weixin_64413763的博客
11-21 284
使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步)，即只要原始位置的文档发生变化操作;否则处于静默等待状态。因为inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。
rsync远程同步+inotify监控
linhaoyanglinhao的博客
10-10 310
rsync远程同步+inotify监控
linux文件监控和同步,(转)Linux下经过rsync与inotify(异步文件系统事件监控机制)实现文件实时同步...
weixin_42607969的博客
05-12 167
Linux下经过rsync与inotify(异步文件系统事件监控机制)实现文件实时同步原文：http://www.summerspacestation.com/linux%E4%B8%8B%E9%80%9A%E8%BF%87rsync%E4%B8%8Einotify%E5%BC%82%E6%AD%A5%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%E4%BA%8B%E4%...
使用rsync进行文件同步，使用sersync进行监控实时上传
lc20008的博客
12-13 642
一、使用场景： ①本地电脑修改了文件，想同步到外网可访问的电脑上进行访问 ②web服务器进行程序文件同步 二、适用系统 ①linux②mac OS 三、实现步骤 1、本文以两台局域网centos 系统机器为类 接收同步机器:192.168.1.15，以下简称15机器 被同步机器：192.168.1.12，以下简称12机器 2、分别在两台机器上安装rsync，有些系统默认带rsync服务，命令如下 ...
17： rsync同步操作 、 inotify实时同步 、 数据库服务基础 、 管理表数据 、 总结和答疑
weixin_46575696的博客
11-10 442
CASE Top NSD SERVICES DAY06 案例1：rsync基本用法 案例2：rsync+SSH同步 案例3：使用inotifywait工具 案例4：配置Web镜...
rsync 远程同步到本地
最新发布
05-31
要使用 `rsync` 进行远程同步到本地，需要使用以下命令： ```bash rsync -avz -e "ssh -p [port]" [remote_user]@[remote_host]:[remote_directory] [local_directory] ``` 其中，`-a` 表示递归同步文件夹，保留文件属性，`-v` 表示输出详细信息，`-z` 表示启用压缩传输，`-e` 表示指定使用的传输协议，这里使用 `ssh`，`[port]` 需要替换成远程主机的 SSH 端口号，`[remote_user]` 和 `[remote_host]` 分别替换成远程主机的用户名和地址，`[remote_directory]` 是需要同步的远程目录，`[local_directory]` 是同步到本地的目录。 举个例子，如果需要从远程主机 `example.com` 的 `/home/user/data` 目录同步到本地的 `/data/backup` 目录，可以使用以下命令： ```bash rsync -avz -e "ssh -p 22" user@example.com:/home/user/data /data/backup ``` 这里假设远程主机的 SSH 端口号为 22，用户名为 `user`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

头发莫的了呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值