rsync+inotify组合实现及时远程同步

目录

Rsync（Remote Sync）简介：

Rsync 主要特点：

Rsync 常用命令选项：

Inotify 简介：

Inotify 的主要功能：

结合 Rsync 和 Inotify 实现实时同步：

操作步骤：

配置备份服务器rsync

配置应用服务器inotify

注意事项：

---

Rsync（Remote Sync）简介：

• rsync 是一个用于文件同步和备份的命令行工具，可以在本地和远程系统之间高效地同步文件和目录。
• 它能够快速地复制和同步大量数据，只传输那些发生变化的部分，节省了带宽和时间。
• 支持完整备份、差量备份和增量备份等多种备份方式，可以根据需求选择不同的备份策略。

Rsync 主要特点：

• 增量传输：仅传输变化的部分，节省带宽和时间。
• 文件权限保留：可以保留文件权限、时间戳等元数据。
• 删除文件同步：支持在目标目录中删除源目录不存在的文件。
• 压缩传输：支持传输时压缩数据，减少传输量。
• 远程同步：可以在本地和远程系统之间同步文件。

Rsync 常用命令选项：

• -a：归档模式，保留所有文件属性，相当于 -rlptgoD。
• -v：详细输出，显示每个文件传输的详细信息。
• -z：传输时压缩数据，减少传输量。
• --delete：删除目标目录中不存在于源目录中的文件。
• --exclude：排除指定文件或目录。
• --progress：显示传输进度。
• --backup：在覆盖目标文件时备份已存在的文件。

Inotify 简介：

• inotify 是 Linux 内核提供的机制，用于监视文件系统事件。
• 可以监视文件或目录的各种事件，如文件创建、删除、修改、移动等。
• 可以通过命令行工具 inotifywait 使用这个机制，实现对文件系统的实时监控。

Inotify 的主要功能：

• 实时监控：可以实时监听文件系统的变化，并触发相应的动作。
• 文件系统事件：监控文件和目录的各种事件，如创建、删除、修改等。
• 可编程性：可以通过脚本或程序使用 inotify 进行文件系统监控和处理。

结合 Rsync 和 Inotify 实现实时同步：

1. 使用 inotifywait 监听源目录的变化。
2. 当源目录发生变化时，触发 rsync 命令进行同步。
3. rsync 将变化的文件或目录同步到目标位置。

这样，当文件系统的变化发生时，就可以立即将变化同步到目标位置，实现了文件的实时备份和同步。常见应用场景包括实时数据备份、网站文件同步等。

操作步骤：

应用服务器ip为192.168.1.33，备份服务器ip为192.168.1.22。需要将应用服务器的/var/www/html/ 实时同步给备份服务器的/var/www/html/

配置备份服务器rsync

vim /etc/rsyncd.conf

uid = root
gid = root
use chroot = yes
address = 192.168.1.22
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.1.0/24
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

[web_bak]
path = /var/www/html
comment = Document Root of www.myweb.com
read only = no
auth users = backuper
secrets file = /etc/rsyncd_users.db

• uid = root：指定守护进程运行时所使用的用户的 UID。在这里是 root，表示守护进程会以 root 用户的身份运行。

• gid = root：指定守护进程运行时所使用的用户组的 GID。与上面类似，这里也是 root，表示守护进程会以 root 用户组的身份运行。

• use chroot = yes：表示在运行守护进程前，将其 chroot（切换根目录）到指定的路径。在这里是 yes，表示守护进程会以 /var/www/html/ 作为其根目录。

• address = 192.168.1.22：指定 rsync 守护进程监听的 IP 地址。

• port 873：指定 rsync 守护进程监听的端口号。默认 rsync 服务的端口号是 873。

• log file = /var/log/rsyncd.log：指定 rsync 守护进程的日志文件路径。

• pid file = /var/run/rsyncd.pid：指定 rsync 守护进程的 PID 文件路径，用于记录守护进程的进程 ID。

• hosts allow = 192.168.1.0/24：指定允许访问 rsync 守护进程的主机或 IP 地址范围。在这里是允许 192.168.1.0/24 网段的主机访问。

• dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2：指定不压缩的文件类型，这些文件类型不会被 rsync 守护进程压缩传输。

• [web_bak]：定义一个模块，客户端在访问 rsync 时可以使用这个名称。

  • path = /var/www/html：指定这个模块的路径，客户端可以访问的目录路径。在这里是 /var/www/html，表示客户端可以访问和同步的是这个目录。

  • comment = Document Root of www.myweb.com：对这个模块的描述注释。

  • read only = no：表示这个模块是可写的，客户端可以向这个模块写入文件。

  • auth users = backuper：指定允许访问这个模块的授权用户，这里是 backuper。

  • secrets file = /etc/rsyncd_users.db：指定包含授权用户密码的文件路径。

rsync --daemon
chmod 777 /var/www/html/

rsync --daemon 是用于启动 rsync 守护进程的命令。通过这个命令，可以在服务器上启动 rsync 守护进程，使得其他客户端可以通过 rsync 协议访问服务器上的共享目录。

配置应用服务器inotify

先调整inotify内核参数

vim /etc/sysctl.conf

fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

示例中的设置如下：

• 这三个参数分别控制着 Linux 系统中 inotify 子系统的行为。下面对每个参数进行解释：

• fs.inotify.max_queued_events：

  • 这个参数定义了每个 inotify 实例中允许排队的事件数量的最大限制。
  • 默认值通常是 16384。
  • 适当增加这个值可以确保即使在高负载时系统也不会丢失任何事件。

• fs.inotify.max_user_instances：

  • 这个参数定义了单个用户可以创建的 inotify 实例的最大数量。
  • 默认值通常是 128。
  • 如果系统需要大量的 inotify 实例，比如同时监视大量文件或目录，可能需要增加这个值。

• fs.inotify.max_user_watches：

  • 这个参数定义了单个用户在所有 inotify 实例中能够监视的文件或目录的最大数量。
  • 默认值通常是 8192。
  • 如果应用程序需要监视大量文件或目录，可能需要增加这个值。
• fs.inotify.max_queued_events = 16384：允许每个 inotify 实例中排队的事件数量的最大限制为 16384。
• fs.inotify.max_user_instances = 1024：单个用户可以创建的 inotify 实例的最大数量为 1024。
• fs.inotify.max_user_watches = 1048576：单个用户在所有 inotify 实例中能够监视的文件或目录的最大数量为 1048576。

安装 inotify-tools

tar zxvf inotify-tools-3.14.tar.gz -C /opt/
cd /opt/inotify-tools-3.14
./configure
make -j4 && make install

编写脚本触发同步

vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.1.22::web_bak/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done

使用 inotifywait 监听 /var/www/html/ 目录的文件变化，一旦有变化就触发 rsync 命令同步到备份服务器上。

1. INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"：

   • 定义了一个变量 INOTIFY_CMD，存储了使用 inotifywait 监听 /var/www/html/ 目录的命令。
   • -mrq 选项分别表示递归监听、静默模式、以原始格式输出。
   • -e modify,create,attrib,move,delete 选项指定了需要监听的事件类型，包括文件修改、创建、属性变化、移动和删除。

2. RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.1.22::web_bak/"：

   • 定义了一个变量 RSYNC_CMD，存储了用于同步的 rsync 命令。
   • -azH 选项分别表示压缩传输、保持文件权限、保持硬链接。
   • --delete 选项表示删除目标端（备份服务器）上不存在于源端（本地服务器）的文件。
   • --password-file=/etc/server.pass 指定了密码文件的路径，这样 rsync 就可以使用其中的密码进行认证。
   • /var/www/html/ 是本地源目录。
   • backuper@192.168.1.22::web_bak/ 是备份服务器上的目标模块名。

3. $INOTIFY_CMD | while read DIRECTORY EVENT FILE：

   • 使用 read DIRECTORY EVENT FILE 将 inotifywait 的输出分别赋值给 DIRECTORY、EVENT 和 FILE，提高了灵活性和可读性。
   • 在每次文件变化时都会输出当前的目录、事件和文件名，方便调试和监控。
   • 如果只需要简单地监听文件变化并进行同步也可以使用"$INOTIFY_CMD | while read AA" 这样简化了 read 命令的使用，只需要一个变量 AA 就可以处理 inotifywait 的输出。

4. if [ $(pgrep rsync | wc -l) -le 0 ] ; then：

   • 检查当前是否已经有 rsync 进程在运行，如果没有则执行同步操作。
   • pgrep rsync | wc -l 是用来统计 rsync 进程的数量。
   • -le 0 表示小于等于 0，即当前没有 rsync 进程在运行时执行后续操作。

5. $RSYNC_CMD：

   • 执行前面定义的 RSYNC_CMD 命令，即执行 rsync 同步操作到备份服务器。

通过这个脚本，当 /var/www/html/ 目录下的文件发生变化时（修改、创建、属性变化、移动、删除），就会触发 rsync 命令将这些变化同步到备份服务器的 web_bak 模块中。

注意事项：

• 确保 inotify-tools 包已经安装，以便使用 inotifywait 命令。
• 确保 /etc/server.pass 文件存在且包含正确的密码。

chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local	
echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass
cd /opt
./inotify.sh

运行脚本后应用服务器的/var/www/html/ 将实时同步给备份服务器