Linux CentOS 通过rsync+inotify实现文件实时同步

rsync介绍

rsync是Liunx下的远程数据同步工具，可快速同步多台主机间的文件和目录，并可实现增量同步以减少数据的传输。

rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式。具体配置方法可参考

【服务器】CentOS通过rsync实现文件同步（SSH方式）

【服务器】CentOS通过rsync实现文件同步（daemon方式）

但rsync无法做到实时同步，即便使用免交互式进行同步，也只能人工手动操作或借助于计划任务的方式进行，存在时间差。并且因为rsync是扫描所有文件后差量传递，当文件数量过多时，效率也比较低下。此时可以使用rsync+inotify组合的方式。

本文主要介绍在CentOS操作系统中以rsync+inotify组合方式实现文件实时同步的步骤。

inotify介绍

inotify是一种强大的、细粒度的、异步的文件系统事件监听机制，可以监听文件系统中添加、删除，修改、移动等各种细微事件，做到对事件的实时响应，高效并且没有轮询造成的系统资源消耗。

inotify可以监听文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决同步数据的实时性问题。

inotify命令介绍

inotify-tools 包含了两个命令：inotifywait 与 inotifywatch。

inotifywait：在被监听的文件或目录上等待特定文件系统事件发生，执行后处于阻塞状态。简单的说就是发生事件就执行。
inotifywatch：用于收集文件系统的统计数据，例如发生了多少次 inotify 事件，某文件被访问了多少次等等。简单的说是用于统计的。

因inotifywait可以做到监听事件，所以实现文件实时同步主要使用inotifywait。

实现目标

远程服务器192.168.1.1，开启 rsyncd 服务，无需配置 inotify

本地服务器192.168.1.2，配置 inotify 服务，配置 rsync 账号密码用于免交互式同步

在本地服务器指定目录文件发生变化时，实时同步至远程服务器。此场景可用于文件的实时备份或主从同步。

具体实践

1、远程服务器配置rsync-daemon方式，本地服务器配置同步账号信息，具体操作参考

【服务器】CentOS通过rsync实现文件同步（daemon方式）

2、在本地服务器安装inotify

yum install epel-release -y
yum install inotify-tools -y

3、本地服务器创建 inotify.sh 脚本文件，用于监听文件变动并进行同步

# 保存路径及文件名可根据实际情况修改
vim /home/inotify.sh

4、输入以下内容，部分内容可根据情况进行调整

# 远程主机ip地址
host=192.168.1.1

# 本地服务器同步目录（不含backup目录本身，即同步backup目录内的文件和子目录）
src=/backup/

# 远程服务器 rsync 服务模块名
des=backup

# rsync服务用户连接认证密码文件路径
password=/etc/rsync.password

# 连接认证用户
user=rsync_backup

# inotifywait 程序路径
inotifywait=/usr/bin/inotifywait

# 监听文件变化进行传输
$inotifywait -mrq -e 'modify,delete,create,attrib' $src |while read files;
do
    rsync -azP --delete $src $user@$host::$des --password-file=${password};

    # 日志，可视情况开启
    # echo "${files} was rsynced!" >> /home/rsync_inotify.log 2>&1;

done

监听事件modify（修改），delete（删除），create（创建），attrib（元数据修改）被触发时进行rsync传输

5、运行脚本进行监听

sh /home/inotify.sh

脚本运行后，当本地服务器/backup目录内发生上述事件后，实时调用 rsync 同步至远程服务器。

6、测试同步功能

本地服务器运行以下命令

# 进入指定目录
cd /backup/

# 建立测试文件夹
mkdir test1

# 建立测试文件
touch 1.txt

远程服务器运行以下测试命令

# 进入指定目录
cd /backup/

# 显示文件列表
ls 

# 显示以下内容，同步完成
# 可能显示 test1 1.txt

inotifywait参数

-m 持续监听指定的文件或目录
-r 递归监听指定目录及其子目录下的文件变化
-q 静默模式，只打印出需要的信息
-e 指定要监听的事件类型，可以是多个事件类型组合，如 create、delete、modify、move

监听事件

inotify 监听的文件系统常用事件包括：

access：访问，读取文件
modify：修改，文件内容被修改
attrib：属性，文件元数据被修改
move：移动，对文件进行移动操作
create：创建，生成新文件
open：打开，对文件进行打开操作
close：关闭，对文件进行关闭操作
delete：删除，文件被删除