Rsync+Inotify 实时同步实验

最新推荐文章于 2022-07-11 00:46:07 发布
最新推荐文章于 2022-07-11 00:46:07 发布
阅读量214 收藏
点赞数
分类专栏： 运维的奇淫巧计 文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DeusExMachina_V/article/details/125217055
版权

Rsync+Inotify 实时增量同步神器

Rsync

可以用于实现数据增量同步：

  1. 例如备份NAS , DAS或其它存储服务器上的文件；
  2. 例如从发布服务器推数据到其它服务器。

基于sshd服务器，并client使用server的OS帐号同步数据，可以结合ssh公钥认证。
Server端启动rsyncd服务，并创建专用的rsync帐号（最终也要映射到系统帐号，对应一定的权限)

语法：

远程拷贝

Usage: rsync [OPTION]… SRC [SRC]… DEST
or rsync [OPTION]… SRC [SRC]… [USER@]HOST:DEST
or rsync [OPTION]… SRC [SRC]… [USER@]HOST::DEST

# yum -y install rsync
# rsync -va /etc/hosts /tmp/
# rsync -va /etc 192.168.1.251:/tmp 
# rsync -va /etc/ 192.168.1.251:/tmp
# rsync -vza /etc 192.168.1.251:/tmp
# rsync -vza --delete /etc root@192.168.1.251:/tmp 

# rsync -vza 192.168.1.251:/tmp /var/tmp
# rsync -vza --delete /etc/ 192.168.1.251:/

参数说明

# rsync --help
-v, --verbose              increase verbosity
-r, --recursive            recurse into directories
-l, --links                   copy symlinks as symlinks
-p, --perms                preserve permissions
-t, --times                  preserve modification times
-o, --owner                preserve owner (super-user only)
-g, --group                 preserve group
     --devices              preserve device files (super-user only)
     --specials             preserve special files
 -D                            same as --devices --specials

-a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)

-H, --hard-links           preserve hard links
-A, --acls                    preserve ACLs (implies --perms)
-X, --xattrs                 preserve extended attributes
-z, --compress            compress file data during the transfer, 增量拷贝
--delete                     delete extraneous files from destination dirs
--exclude=pattern    同步时忽略什么样的文件

# rsync -vaz --delete /var/www/html/  192.168.122.10:/var/www/html
# rsync -vazHAX --delete /var/www/html/  192.168.122.10:/var/www/html

# rsync -vazHAX --delete /var/www/html  192.168.122.10:/var/www/

同步目录注意事项

  • 源:
    目录以"/“结尾 #仅传输目录下的内容
    目录不以”/"结尾 #传输目录及目录下所有的内容

  • 目标:
    目标目录不存在 #先创建目录,再传输. 如果创建时父目录不存在, 则报错

传输大文件

创建一个大文件

[root@ansible ~]# dd if=/dev/zero of=abc/test bs=100M count=10
记录了10+0 的读入
记录了10+0 的写出
1048576000字节(1.0 GB)已复制，2.61383 秒，401 MB/秒

传输

[root@ansible ~]# rsync -rv abc 192.168.23.188:/opt
sending incremental file list
abc/
abc/test

sent 1,048,832,116 bytes  received 39 bytes  139,844,287.33 bytes/sec
total size is 1,048,576,000  speedup is 1.00

在接收端查看发现成功接收：

[root@db-server opt]# ls
abc

失败的增量拷贝

查看是否是增量拷贝，在发送端增加新内容，然后发现这不是增量拷贝而是全量拷贝

[root@db-server opt]# echo world > abc/b.txt
[root@ansible ~]# rsync -rv abc 192.168.23.188:/opt
sending incremental file list
abc/b.txt
abc/test

成功的增量拷贝

我们更改发送端/abc/b.txt的文本内容，然后通过 -avz 和发送abc/的内容实现增量拷贝

[root@ansible ~]# vim abc/b.txt
[root@ansible ~]# rsync -avz abc/ 192.168.23.188:/opt/abc
sending incremental file list
./
b.txt

sent 161 bytes  received 44 bytes  410.00 bytes/sec
total size is 1,048,576,023  speedup is 5,115,004.99

# -a  archive mode; 存档模式；
# -v 增加详细程度
# -z  compress file data during the transfer, 增量拷贝

拷贝删除操作--delete

为了安全起见rsync不会将删除操作拷贝，为了拷贝删除操作，我们需要加入--delete
实验，我们在发送端删除abc/c.txt,然后--delete拷贝

[root@ansible ~]# rm -rf abc/c.txt
[root@ansible ~]# rsync -avz --delete abc/ 192.168.23.188:/opt/abc
sending incremental file list
deleting c.txt
./

sent 90 bytes  received 24 bytes  228.00 bytes/sec
total size is 1,048,576,015  speedup is 9,198,035.22

在接收端查看，发现c.txt被删除

[root@db-server opt]# ls abc
b.txt  c.txt  test

发生改变但不想拷贝--exclude

我们在abc/b.txt 内添加一行666666

vim abc/b.txt
world
xxxxxxxx
66666666

然后执行exclude拷贝发现没有文件拷贝

[root@ansible ~]# rsync -avz --delete --exclude=b.txt abc/ 192.168.23.188:/opt/abc
sending incremental file list
created directory /opt/abc
./
test

sent 1,019,863 bytes  received 38 bytes  119,988.35 bytes/sec
total size is 1,048,576,000  speedup is 1,028.12

Inotify

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添 加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

安装inotify工具inotify-tools

  1. 确认内核支持
# ll /proc/sys/fs/inotify
    总计 0
    -rw-r--r-- 1 root root 0 10-01 08:07 max_queued_events
    -rw-r--r-- 1 root root 0 10-01 08:07 max_user_instances
    -rw-r--r-- 1 root root 0 10-01 08:07 max_user_watches
  1. 安装rsync与inotify-tools
    inotify-tools是用来监控文件系统变化的工具，因此必须安装在内容发布节点（数据源）
# yum install -y inotify-tools-3.14-8.el7.x86_64.rpm

inotify-tools指令:

inotifywait		    用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录
inotifywatch		用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息

Inotifywait相关参数

Inotifywait是一个监控等待事件，可以配合shell脚本使用，常用的一些参数：
-m ,--monitor           表示始终保持事件监听状态
-r ,--recursive           表示递归查询目录
-q  	即--quiet，表示不打印监控事件(最开始的提示信息)
-e    即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等

在这里插入图片描述

# inotifywait -mrq -e modify,delete,create,attrib  /var/www/html/

# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib /var/www/html/
    04/06/14 14:23 /var/www/html/file1
    04/06/14 14:23 /var/www/html/file1

# nohup inotifywait -mrq  --format '%T %w%f' --timefmt '%d/%m/%y %H:%M' -e modify,delete,create,attrib /var/www/html >> file_modify.txt　&

# inotifywait -mrq --format '%w%f' -e modify,delete,create,attrib /var/www/html/
    /var/www/html/file2
    /var/www/html/file2

实验

监控 /root/abc

[root@ansible inotify]# inotifywait -mrq /root/abc

同一台机器，同一个位置操作，观察inotifywait
在这里插入图片描述

在这里插入图片描述
继续操作，然后观察监控端

[root@ansible inotify]# vim b.txt

监控端
在这里插入图片描述
在b.txt内加入一行aaaaaa
观察监控端
在这里插入图片描述

分析inotifywait -- help

监控某些事件-e
示例：

inotifywait -mrq -e modify,move,create,delete /root/abc
# -e event

设置日期格式

[root@ansible inotify]# inotifywait -mrq -e modify,move,create,delete --format '%T %w%f' --timefmt '[%d/%m/%Y %H:%M]' /root/abc

创建文件试一下

[root@ansible inotify]# inotifywait -mrq -e modify,move,create,delete --format '%T %w%f' --timefmt '[%d/%m/%Y %H:%M]' /root/abc
[10/06/2022 16:02] /root/abc/e.txt

日志保存命令

inotifywait -mrq -e modify,move,create,delete --format '                                                                                  %T %w%f' --timefmt '[%d/%m/%Y %H:%M]' /root/abc | tee -a /var/log/root_abc_w.log

执行操作后发现日志保存成功

[root@ansible abc]# cat /var/log/root_abc_w.log
[10/06/2022 16:05] /root/abc/e.txt
[10/06/2022 16:06] /root/abc/d.txt
[10/06/2022 16:06] /root/abc/f.txt
[10/06/2022 16:06] /root/abc/f.txt

Rsync+Inotify实战

执行前确保建立ssh信任关系
写以下脚本

#!/bin/bash
dst_ip=192.168.23.188 # 目标ip
src_dir=/root/abc
dst_dir=/opt/abc
logfile=/var/log/root_abc_w.log
inotifywait -mrq -e modify,attrib,move,create,delete --format '%T %e %w%f' --timefmt '[%d/%m/%Y %H:%M]' $src_dir |
while read line;do
        echo $line >> $logfile
        rsync -az --delete $src_dir/ $dst_ip:$dst_dir/ #拷贝
done

执行脚本，发现运行成功

[root@ansible abc]# sh sync.sh &
# & 后台运行

在发送端做如下操作

[root@ansible abc]# vim /var/log/root_abc_w.log
[root@ansible abc]# touch m.txt
[root@ansible abc]# rm -rf l.txt
[root@ansible abc]# echo LZY > m.txt

查看log日志

vim /var/log/root_abc_w.log

在这里插入图片描述

查看接收端

[root@db-server abc]# ls
b.txt  f.txt  m.txt  test
[root@db-server abc]# cat m.txt
LZY

同步成功

如何在终端关闭时仍然运行实时同步脚本

linux 命令：nohup 详解
nohub ：当我们从后台启动一个进程的时候，如果该进程的父进程被kill，nohub会把该进程交给systemd

nohub sync.sh &

Reference

课堂笔记

DeusExMachina_V
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rsync + inotify 实现数据监控同步
ysy910203的博客
02-23 558
rsync 和 inotify 实现数据实时同步
rsync+inotify实时同步
06-24
rsync+inotify实时同步实践，亲测试成功，有需要的朋友可以拿走！
Windows xcopy 增量拷贝（增量复制）方法
持续战斗状态的博客
04-03 6425
xcopy S D /e /d 实现快速增量拷贝 学linux发现Windows也支持增量拷贝，非常实用的小方法 /e 表示复制目录和子目录，包括空的 /d:月-日-年 表示复制在指定日期及其后发生更改的文件，比如/d:02-02-2020 /d 表示复制源文件时间比目标文件时间新的文件 S 和 D 分别为源文件目录和目的文件目录 如果想把D:\data的数据增量复制到F盘里F:\data目录 ...
scp（安全拷贝）和rsync（增量复制）
云深海阔专栏
06-21 1916
rsync
xcopy增量备份
fanqiantao的博客
04-20 952
在大数据量备份时，增量备份是最常用的方式。网上有许多软件可以实现该功能，但个人认为还是Windows系统自带的DOS命令法更安全、便捷。 一、平台 win10 二、操作步骤 1、初次复制：xcopy 源文件目标文件目录/e/s/h /e 包括文件夹及其字内容 /s 全复制 /h 隐藏文件及系统文件 2、增量复制：xcopy 源文件目标文件目录/e/s/h/d /d 增量复...
使用inotifywait工具
weixin_41176080的博客
05-09 678
3案例3:使用inotifywait工具 3.1 问题 本例要求安装inotify-tools工具,并针对文件夹/opt启用inotifywait监控,完成下列任务: 当此目录下出现新建、修改、更改权限、删除文件等事件时能给出提示 验证上述监控事件的效果 3.2 方案 inotifywait监控操作： inotifywait [选项] 目标文件夹 inotifywait常用命令选项: -m 持续监控(捕获一个时间后不退出) -r 递归监控、包括子目录及文件 -q 减少屏幕输出信息 -e 指定监视的 m
rsync+inotify实现实时同步
12-05
rsync+inotify实现实时同步 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同 步数据时，需要扫描所有文件后进行比对，进行差...
rsync+inotify实现服务器之间文件实时同步
03-09
rsync+inotify实现服务器之间文件实时同步 rsync+inotify是一种实现服务器之间文件实时同步的解决方案，该方案可以实时监控文件系统的变化，并将变化同步到备份服务器中，保障数据的一致性和实时性。 rsync是一种...
rsync+inotify实现linux服务器之间文件实时+双向同步.docx
06-22
rsync+inotify是Linux系统中一种常用的实时文件同步方案，尤其适用于服务器之间的数据备份和同步。rsync是一个高效的数据同步工具，它可以快速地比较并传输文件和目录，而inotify则是Linux内核提供的一种文件系统...
rsync + inotify实时同步项目详细笔记实战案例
最新发布
07-02
本文档记录了使用 rsync 和 inotify 实现实时同步项目的详细笔记实战案例。rsync 是一个功能强大的文件同步工具，而 inotify 是一种 Linux 内核提供的文件系统事件侦听机制。通过将这两种技术结合使用，可以实现实时...
linux系统中rsync+inotify实现服务器之间文件实时同步
09-15
主要介绍了rsync+inotify实现服务器之间文件实时同步,需要的朋友可以参考下
linux rsync及inotify实时同步
01-03
linux rsync及inotify实时同步，实现并确保文件及实时同步
复制增量，拷贝增量批处理
weixin_34376562的博客
03-19 850
     复制增量，拷贝增量批处理     @echo offxcopy "D:\TestAutoDeploy\Addition" "D:\TestAutoDeploy\TestDataAnnotation" /e/yset folder=%DATE:~0,4%%DATE:~5,2%%DATE:~8,2%%TIME:~0,2%%TIME:~3,2%%TIME:~6,2%md "D:\TestAut...
数据不能增量复制时的解决方案
indexchen的专栏
04-04 2332
在应用中有时需要将一个系统的数据定时复制到另一个系统， 最好的情况是能增量复制， 即每次只复制新增或变更过的数据， 以减小网络流量和提高复制效率， 尤其在数据量达到百万级或千万级时。但很多系统没有时间戳字段或其他字段用来标识数据内容是新增或被修改过，因此在复制时无法只提取增量部分，而是全部数据都全部复制一遍，极度费时。而且这种系统通常还不容许在原有数据表中添加新字段来做标记。 下面给出几种辅助方法
rsync同步+inotify同步部署
稻香的博客
07-11 391
目录一. 概述1. rsync服务器2. rsync同步方式2.1 全量备份2.2 增量备份3. rsync源服务器的关系二. 配置rsync源 1. 基本思路2. 配置文件rsyncd.conf3. 独立的账号文件4. 启用rsync服务5. rsync 功能及特点6. rsync同类服务7. cp 与rsync的比较三. rsync命令四. 配置rsync下行同步1. 配置rsync下行同步2. client（192.168.119.20）3. server（192.168.119.30）五. rsyn
rsync实验练习
weixin_33953384的博客
03-04 196
准备selinux、iptables关闭duwen111的配置[root@duwen111~]#cat/etc/xinetd.d/rsync #default:off #description:Thersyncserverisagoodadditiontoanftpserver,asit\ #allowscrcchecksummin...
rsync远程同步
weixin_51432789的博客
03-01 1491
目录一、rsync同步介绍二、rsync实时同步1、定期同步的不足2、实时同步的优点三、关于inotify1、Linux内核的inotify机制四、rsync+inotify实时同步1、调整inotify内核参数2、安装inotify-tools辅助工具3、通过inodifywait触发rsync同步操作五、实验步骤1、配置rsync源服务器 一、rsync同步介绍 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常
实验rsync+inotify 实现文件实时同步
weixin_34166472的博客
09-13 137
实验目标rsync 远程同步实战1： 备份/var/www/html 目彔实战2： 使用ssh密钥实现无交互备份实战3： 配置rsync 服务器及需要备份的目彔，不使用系统用户 实战4： 配置rsync+inotify实时同步实战5： 防止网页被篡改实验概述软件简介Rsync ( Remote sync)是一个远程数据同步工具，使用与unix/Linux/windows等多种平台。 可通过LAN/...
rsync+inotify实现NFS实时同步数据以及压力测试
飞翔的荷兰人
11-30 1208
1第一步:搭建NFS服务器 关于NFS服务器的搭建请参考http://blog.csdn.net/qq_30256711/article/details/78463940 第二步:rsync同步实现 关于rsync同步请参考http://blog.csdn.net/qq_30256711/article/details/78539342 第三步:inotify结合rsync实现实时同步

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值