rsync+inotify实时同步

rsync同步简介

一款快速增量备份工具

• Remote Sync，远程同步
• 支持本地复制，或者与其他SSH、rsync主机同步
• 官方网站: http://rsync.samba.org

配置rsync备份源

rsync同步源

• 指备份操作的远程服务器，也称为备份源
  

基本思路

• 建立rsyncd.conf配置文件、独立的账号文件
• 启用rsync的–daemon模式

应用示例

• 用户backuper，允许下行同步
• 操作的目录为/var/www/html/

配置文件rsyncd.conf

• 需手动建立，语法类似于Samba配置
• 认证配置auth users、secrets file，不加则为匿名

rsync账号文件

• 采用“用户名:密码”的记录格式，每行一个用户记录
• 独立的账号数据，不依赖于系统账号

启用rsync服务

• 通过–daemon独自提供服务（执行kill $(cat /var/run/rsyncd.pid)关闭rsync服务）

使用rsync备份工具

rsync命令基本用法

• rsync 选项 原始位置 目标位置
  常用选项
  -a:归档模式,递归并保留对象属性，等同于-rlptgoD
  -v:显示同步过程的详细(verbose）信息
  -z:在传输文件时进行压缩(compress)
  -H:保留硬连接文件
  -A:保留ACL属性信息
  –delete:删除目标位置有而原始位置没有的文件
  –checksum:根据对象的校验和来决定是否跳过文件

配置源的两种表示方法

格式1：用户名@主机地址::共享模块名
格式2：rsync://用户名@主机地址/共享模块名

[root@localhost ~]# rsync -avz
backuper@20.0.0.36::wwwroot /root
[root@localhost ~]# rsync -avz
rsync://backuper@20.0.0.36/wwwroot /root

rsync同步操作示例

• 下行rsync源：wwwroot共享 -> /myweb

[root@localhost ~]# mkdir /myweb
[root@localhost ~]# rsync -avzH --delete
backuper@20.0.0.36::wwwroot /myweb

rsync脚本的交互处理

rsync源的免交互处理

• 使用 --password-file= 密码文件

rsync -az --delete --password-file=/etc/server.pass backuper@192.168.100.22::wwwroot /opt/

rsync实时同步

定期同步的不足

• 执行备份的时间固定，延迟明显、实时性差
• 当同步源长期不变化时，密集的定期任务是不必要的

实时同步的优点

• —旦同步源出现变化，立即启动备份
• 只要同步源无变化，则不执行备份

关于inotify

Linux内核的inotify机制

• 从版本2.6.13开始提供
• 可以监控文件系统的变动情况，并做出通知响应
• 辅助软件: inotify-tools
  

rsync+inotify实时同步

调整inotify内核参数

[root@localhost ~]# vi /etc/sysctl.conf
· max_queue_events:监控事件队列大小
· max_user_instances:最多监控实例数
· max_user watches:每个实例最多监控文件数(监控数应大于监控目标的总文件)

[root@localhost ~]# sysctl -p

安装inotify-tools辅助工具

• inotifywait:用于持续监控，实时输出结果
• inotifywatch:用于短期监控，任务完成后再出结果

[root@localhost ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html
-m, 持续进行监控
-r，递归监控所有子对象
-q，简化输出信息
-e,  指定要监控哪些事件类型

通过inotifywait触发rsync同步操作

• 使用while、read持续获取监控结果
• 根据结果可以作进—步判断，决定执行何种操作

[root@localhost ~]# vi /opt/inotify_rsync.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync-azH --delete --password-file=/etc/server.pass /var/www/html"
rput@192.168.4.200:/var/www/html"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
 if [ $(pgrep rsync | wc -l) -le 0 ] ; then
  $RSYNC_CMD
 fi
done