rsync + inotify 实现文件实时同步

最新推荐文章于 2024-03-07 09:37:53 发布
置顶 最新推荐文章于 2024-03-07 09:37:53 发布
阅读量247 收藏 1
点赞数
分类专栏： 这些年积累的成果 文章标签： rsync inotify 文件实时同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010608551/article/details/115480976
版权

目录

 

rsync + inotify 实现文件实时同步

rsync简介

inotify简介

实例

目标服务器

1、关闭selinux

2、安装rsync

3、配置rsyncd.conf

4、创建用户

5、设置同步目录权限

6、启动rsync

源服务器

1、关闭selinux

2、安装rsync

3、创建认证密码文件

4、启动rsync

5、验证rsync

安装inotify-tools

1、查看是否安装

2、安装文档

3、修改inotify默认参数（inotify默认内核参数值太小）

配置inotify脚本,实现自动同步

1、配置inotify.sh脚本,vim /home/scripts/inotify.sh

2、设置inotify.sh文件执行的权限

3、启动脚本

rsync + inotify 实现文件实时同步

rsync简介

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步

inotify简介

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件

实例

需求:部署rsync+inotify 实时同步源服务器(172.16.18.3)目录/opt/upload/下的文件到目标服务器(172.16.18.2)的目录/opt/upload中

目标服务器

1、关闭selinux

# 关闭seLinux
setenforce 0
# 查看seLinux状态
# getenforce
# /usr/sbin/sestatus -v    #如果SELinux status参数为enabled即为开启状态

2、安装rsync

我这里已经安装过了,所以这里不在列出,需要的自行百度

验证rsync安装情况:rpm -qa | grep rsync

3、配置rsyncd.conf

vim /etc/rsyncd.conf,加入以下配置

uid = root      #工作中指定用户(可以不指定为0)
gid = root
port = 873
use chroot = no #相当于黑洞.出错定位
max connections = 200   #有多少个客户端同时传文件
timeout = 300   #超时时间
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors   #表示出现错误忽略错误
read only = no  #表示网络权限可写(本地控制真正可写)
list = no       #这里设置IP或让不让同步
hosts allow = 172.16.18.3       #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下 逗号隔开
auth users = rsync      #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开（认证用户）
secrets file = /etc/rsync.password      #用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件
#fake supper = yes

[upload]        #同步模块名称，（这个模块就是待会儿对端写脚本的里面一个参数的名称）
path = /opt/upload/     ##需要同步的目录（准确的说是同步过来后放到哪里的目录路径）

4、创建用户

useradd rsync
passwd rsync   # 设置密码
# 创建用户认证文件
vim /etc/rsync.password
#rsync:rsync 	#用户名:密码，可以设置多个，每行一个用户名:密码
#设置文件权限
chmod 600 /etc/rsync.password

5、设置同步目录权限

chmod 765 /opt/upload/

6、启动rsync

systemctl start rsyncd

源服务器

1、关闭selinux

# 关闭seLinux
setenforce 0
# 查看seLinux状态
# getenforce
# /usr/sbin/sestatus -v    #如果SELinux status参数为enabled即为开启状态

2、安装rsync

我这里已经安装过了,所以这里不在列出,需要的自行百度

验证rsync安装情况:rpm -qa | grep rsync

3、创建认证密码文件

vim /etc/rsync.password
# rsync  # 这里是服务器端rsync用户的密码
#设置rsync.password文件权限
chmod 600 /etc/rsync.password

4、启动rsync

systemctl start rsyncd

5、验证rsync

cd /opt/upload
touch a.txt
rsync -avH --port=873 --delete --progress /opt/upload/ rsync@172.16.18.2::upload --password-file=/etc/rsync.password
# 注：目标服务器ip后面写的是在目标服务器上面rsync配置文件里面定义的模块名称

安装inotify-tools

1、查看是否安装

rpm -qa inotify-tools

2、安装文档

https://github.com/inotify-tools/inotify-tools/wiki

安装完成之后执行rpm -ql inotify-tools命令,查看安装详细,最主要的是inotifywait和inotifywatch

inotifywait : 在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用

inotifywatch :收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计。

3、修改inotify默认参数（inotify默认内核参数值太小）

# 1、查看系统默认参数值,结果是：fs.inotify.max_queued_events = 16384
sysctl -a | grep max_queued_events

#fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_watches

#fs.inotify.max_user_instances = 128
sysctl -a | grep max_user_instances

# 2、修改参数：
sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"
# 3、#vim /etc/sysctl.conf #添加以下代码
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
#参数说明：
#max_queued_events：inotify队列最大长度，如果值太小，会出现"** Event Queue Overflow **"错误，导致监控文件不准确
#max_user_watches：要同步的文件包含多少目录，可以用：find /home_test -type d | wc -l 统计，必须保证max_user_watches值大于统计结果（这里/home_test为同步文件目录）
#max_user_instances：每个用户创建inotify实例最大值

配置inotify脚本,实现自动同步

1、配置inotify.sh脚本,vim /home/scripts/inotify.sh

#!/bin/bash
Path="/opt/upload/"
backup_Server="172.16.18.2"
#不需要同步的目录，如果有多个，每一行写一个目录，使用相对于同步模块的路径
excludedir="/home/scripts/exclude.list"			
user="rsync"
pass_file="/etc/rsync.password"
module="upload"
/usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete $Path | while read line
do
    if [ -f $line ];then
        rsync -azH $line --delete --progress --exclude-from=$excludedir $user@$backup_Server::$module --password-file=$pass_file
    else
        cd $Path &&\
        rsync -azH ./ --delete --progress --exclude-from=$excludedir $user@$backup_Server::$module --password-file=$pass_file
    fi
done

2、设置inotify.sh文件执行的权限

chmod +x inotify.sh

3、启动脚本

(1)不重启服务器的情况:sh /home/scripts/inotify.sh &

(2)设置开机自动执行,需要重启服务器:

#设置脚本开机自动执行
#vim /etc/rc.d/rc.local #编辑，在最后添加一行
bash /home/scripts/inotify.sh & ＃设置开机自动在后台运行脚本
# chmod +x /etc/rc.d/rc.local
# systemctl enable rc-local

 

骑着乌龟漫步
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Syncthing - 本地与服务器实时同步文件使用方法（详解，亲测有效）
CLanMua的博客
10-09 4924
Syncthing - 本地与服务器实时同步文件使用方法（详解，亲测有效）
rsync文件实时同步_从文件同步rsync算法谈起
weixin_39957312的博客
12-08 6685
之前在某个产品中使用了Gossip算法进行数据库数据的同步，但是在新的产品中有个需求，就是当文件变化时，(由于文件比较大，比较多)支持增量推送到文件服务器上。于是想到了Unix下的rsync算法，本文也是拜读了很多大佬的作品，从自己理解的角度整理出来。关于rsync算法的原文请阅读https://rsync.samba.org/tech_report/tech_report...
使用 Rsync 实现远程同步，以及实时同步
愿许浪尽天涯的博客
09-24 7128
Rsync 全称为：Remote Sync（远程同步），是一款开源的快速备份工具，可以在不同主机间镜像同步整个目录树，支持增量备份，保持链接和权限，采用优化的同步算法，传输前执行压缩，适用于异地备份，镜像服务器等应用。
rsync实时同步
George的博客
09-22 925
rsync+inotify的部署配置
rsync+inotify实现文件的实时同步
Shallow的博客
12-09 8741
一、rsync工具介绍 rsync（remote sync）即远程同步。rsync不仅可以远程同步数据（类似于scp），而且可以本地同步数据（类似于cp），但不同于cp或scp的是，它不会覆盖以前的数据，而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。 rsync安装：yum install -y rsync rsync的命令格式： rsync [选项] ... SRC DEST rsync [选项] ... SRC [ USER@ ]HOST:DEST rsync [选
rsync+sersync文件实时同步
qq_36045024的博客
03-24 3671
rsync+sersync文件实时同步 一：什么是Rsync？ 　　Rsync（Remote Synchronize）是一款开源的、快速的、多功能的、可以实现全量及增量的本地或远程数据同步备份的优秀工具，并且支持多种操作系统平台运行。 二：什么Sersync？ 1、sersync是基于inotify开发的，类似于inotify-tools的工具，Sersync可以记录下被监听目录中发生变化的（包括...
rsync+inotify实时同步
不知道是谁的博客
05-10 218
文章目录一、Rsync服务器（一）rsync简介（二）rsync的同步方式二、配置rsync源（一）配置源的两种表达方式（二）免交互格式三、inotify简介（一）调整inotify内核参数（优化）（二）使用inotify-tools辅助工具（三）编写同步脚本四、配置rsync下行同步1、Master（192.168.100.10）2、Slave（192.168.100.20）3、验证五、rsync+inotify实时同步1、Master（192.168.100.10）2、Slave（192.168.100
rsync+inotify实现服务器之间文件实时同步
03-09
可以实现触发式的文件同步，但使用crontab守护进程方式进行触发同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。...
rsync+inotify实现实时同步
12-05
rsync+inotify实现实时同步 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同 步数据时，需要扫描所有文件后进行比对，进行差...
通过rsync+inotify实现数据的实时备份配置
09-15
【rsync+inotify 实现数据实时备份配置】 在IT领域，数据安全是至关重要的，尤其是在大规模的应用系统中。rsync作为一种高效的数据同步工具，它能够实现数据的镜像和备份，但面对需要实时同步的需求时，rsync的效率...
rsync + inotify 实现异地文件数据同步
最新发布
06-12
总的来说，rsync与inotify结合使用，能够实现高效、实时的文件同步，尤其适用于需要保持多处数据一致性的场景，如网站镜像、备份策略等。通过自定义脚本和配置，可以灵活应对各种复杂需求，提高系统运维效率。
linux系统中rsync+inotify实现服务器之间文件实时同步
09-15
本文将详细介绍如何使用rsync和inotify工具来实现实时的文件同步，确保数据的安全和一致性。 1. **rsync**： - rsync是一款功能强大的文件同步工具，它支持增量备份，即只传输自上次同步以来发生变化的部分，极大...
rsync实现实时同步数据
m0_60277429的博客
03-23 1874
如何实现文件的实时同步？ rsync是一个可以远程数据同步的备份工具，他和cp，scp相比安全性高，速度快，可以实现增量备份。但是他无法实时监控，备份数据，虽然可以使用crontab定时任务去实现备份，但总有一定的时间差。这个时候，我们就可以搭配inotify去实现实时同步。 inotify是一个强大的、异步的文件系统事件监控机制，他可以实时监控文件系统发生的增删改查等各种细微变化。这样一来，文件一旦发生改变，inotity就可以监控到并且会触发rsync的数据同步，就可以解决文件实时同步。 ...
【Linux】企业实战项目rsync+inotify实现实时同步（inotify安装及介绍、rsync + inotify 实现实时同步、rsync + inotify实现开机自启 ）
Linux小白一只~正处于学习阶段，觉得我写的还好的请多多给我点赞呀,谢谢大家！！(๑＞ڡ＜)☆
02-13 2037
Inotify 监控文件系统操作，比如读取、写入和创建，基于事件驱动，可以做到对事件的实时响应，高效，而且没有轮询造成的系统资源消耗。
RSYNC---文件实时同步
刘某的博客
03-07 2453
rsync是类unix系统下的数据镜像备份工具。一款支持快速完全备份和增量备份的工具，支持本地复制，远程同步等，类似于scp命令；rsync 命令在同步文件之前要先登录目标主机进行用户身份认证，认证过后才能进行数据同步，身份认证方式取决于所使用的协议类型，rsync一般使用两种协议进行数据同步：ssh协议和rsync协议。
rsync + inotify文件实时同步
weixin_40750399的博客
05-24 104
再实际测试中发现，如果该目录已经为同步的目录，从其他的地方cp或scp到该目录时，大文件会损坏，需要使用rsync -az 命令进行同步传输。$ssh_port 替换为实际的ssh端口，如果是22可以去掉-e ‘ssh -p $ssh_port’在任一台服务器上的同步目录下创建一个文件，再去目标服务器上查看目录中是否存在刚才的文件。双向同步的话，需要上面的步骤在两台服务器上运行一次。$remote_path 替换为远程服务器的目录。$local_path 替换为本地目录。
bash: rsync: command not found报错原因以及解决办法
热门推荐
zhangvalue的博客
06-30 1万+
rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。从一个服务器上向另外一个新服务器1推送数据，发现无法推送，报如下错误：[root@spark ~]# rsync -av /opt/soft/hadoop-2.7....
Rsync 文件同步（三）：实时同步 Rsync + Sersync
小鲸鱼大梦想
02-15 1006
这个模式安装配置也不难，但是没有经过实际性能测试，不知道在大文件下同步效率如何整个流程也可以封装成一个 shell 脚本，这样可以快速拿到其他环境去用，后面可以搞一下。
mysql去掉某个字段中的第一个出现的字符串
yinbenyang的专栏
05-03 1万+
需求：比如test表中有一个name的字段，需要去掉这个字段中的以“擅长”开头的记录中的第一个“擅长”字符串，如“擅长游泳，擅长吃饭，擅长打游戏”，修改后的记录为“游泳，擅长吃饭，擅长打游戏”。表结构：查询语句：select CONCAT('',SUBSTRING(`Name`,3)) `Name` FROM test where `Name` LIKE '擅长%';查询结果：修改语句：updat...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值