一、rsync的优点与不足
 与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。
 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!
 
二、 初识inotify
 Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。
 
#####inotify+rsync########
 
服务端:192.168.232.128  
客户端:192.168.232.134
 
发布服务器192.168.232.128
将/www2/data
  /www2/p_w_picpaths
实时同步到192.168.232.134
##########################
 
1.服务端安装inotify工具inotify-tools
 由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持inotify:
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
总计 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三项输出,表示系统已经默认支持inotify,接着就可以开始安装inotify-tools了。
可以到http://inotify-tools.sourceforge.net/下载相应的inotify-tools版本,然后开始编译安装:
 
2.安装inotify
#tar zxvf inotify-tools-3.14.tar.gz
#cd inotify-tools-3.14
#./configure
#make
#make install
#ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
 
3.客户端安装配置 rsync
####Rsync#######
####Stifle######
####luo.hao#####
####qq:88524498####
#####stifles@126.com#####
#vi /etc/rsyncd.conf
 
uid = root
gid = root
use chroot = no
max connections = 200
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
 
[www1]
path = /www1/data
ignore errors
read only = false
list = false
hosts allow = 192.168.232.0/255.255.255.0
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
 
[www01]
path = /www1/p_w_picpaths
ignore errors
read only = false
list = false
hosts allow = 192.168.232.0/255.255.255.0
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
 
=============================================================
#echo "rsync_backup:654321" >/etc/rsync.password   //写入密码到密码文件
#chmod 600 /etc/rsync.password            //设置密码文件权限为600读写
#cat /etc/rsync.password      //查看密码是否成功写入密码文件
#ll /etc/rsync.password       //查看密码文件权限是否为600
#rsync --daemon          //启动rsync
#echo "/usr/bin/rsync --daemon" >>/etc/rc.local  //将文件写入自启动文件中
#cat /etc/rc.local|grep daemon //查看是否成功写入
#ps -ef|grep rsync  //显示现行终端机下的所有程序并过滤出与rsync有关的
#pkill rsync    //结束rsync
#rsync --daemon    //启动rsync
==============================================================
 
4.服务端:
====================================================================
#echo "654321" >/etc/rsync.password    //将密码654321写入密码文件中
#chmod 600 /etc/rsync.password   //设置密码文件权限为600
#cat /etc/rsync.password        //查看密码是否成功写入密码文件
#ll /etc/rsync.password       //查看密码文件权限是否成功写入600权限
====================================================================
 
5.配置内容发布节点-----服务端128
#cd /home/shell
#vi rsync.sh---------------脚本1(同步/www2/data 目录)
#!/bin/bash
 
src=/www2/data/
dst1=www1
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \
| while read files
        do
           /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password $src rsync_backup@192.168.232.134::$dst1
                echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
         done
 
#vi rsync01.sh--------------------脚本2(同步/www2/p_w_picpaths 目录)
#!/bin/bash
 
src=/www2/p_w_picpaths/
dst1=www01
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \
| while read files
        do
           /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password $src rsync_backup@192.168.232.134::$dst1
                echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
         done
  这个脚本的作用就是通过inotify监控文件目录的变化,进而触发rsync进行同步操作,由于这个过程是一种主动触发操作,通过系统内核完成的,所以,比起那些遍历整个目录的扫描方式,效率要高很多。
 
  有时会遇到这样的情况:向inotify监控的目录(这里是/web/wwwroot/)写入一个很大文件时,由于写入这个大文件需要一段时间,此时inotify就会持续不停的输出该文件被更新的信息, 这样就会持续不停的触发rsync去执行同步操作,占用了大量系统资源,那么针对这种情况,最理想的做法是等待文件写完后再去触发rsync同步。 在这种情况下,可以修改inotify的监控事件,即:“-e close_write,delete,create,attrib”。
接着,将这个脚本命名为rsync.sh,放到/www2目录下,然后给定可执行权限,放到后台运行:
chmod 755 /www2/rsync.sh
/www2/rsync.sh &
最后,将此脚本加入系统自启动文件:
echo  “/www2/rsync.sh &”>>/etc/rc.local
这样就完成了内容发布节点的所有配置工作。
 
6.测试rsync+inotify实时同步功能
服务端128:
#cd /www2/data
[root@CentOS5 data]# ll
total 0
[root@CentOS5 data]# touch 2
[root@CentOS5 data]# building file list ... 
2 files to consider
building file list ... 
2 files to consider
./
2
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/2)
2
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/2)
 
sent 100 bytes  received 44 bytes  288.00 bytes/sec
total size is 0  speedup is 0.00
 
sent 94 bytes  received 38 bytes  264.00 bytes/sec
total size is 0  speedup is 0.00
building file list ... 
2 files to consider
building file list ... 
2 files to consider
 
sent 55 bytes  received 16 bytes  142.00 bytes/sec
total size is 0  speedup is 0.00
 
sent 55 bytes  received 16 bytes  142.00 bytes/sec
total size is 0  speedup is 0.00
 
[root@CentOS5 data]# ll
total 0
-rw-r--r-- 1 root root 0 Jul 27 14:29 2
[root@CentOS5 data]# 
 
查看客户端134:
 
[root@CentOS5 www1]# ll /www1/data/
total 0
-rw-r--r-- 1 root root 0 Jul 27 14:29 2
[root@CentOS5 www1]# 
 
至此完成服务器的实时同步
 
 
注1:#vi /etc/rsyncd.conf
     uid = root
     gid = root
需使用root用户,不然报错,用户权限拒绝