rsync+inotify数据同步配置


一、rsync的优点与不足

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！


二、 初识inotify

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。


三、 安装inotify工具inotify-tools

由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持inotify：

[root@localhost webdata]# uname -r

2.6.18-164.11.1.el5PAE

[root@localhost webdata]# ll /proc/sys/fs/inotify

总计 0

-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events

-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances

-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches

如果有上面三项输出，表示系统已经默认支持inotify，接着就可以开始安装inotify-tools了。

可以到http://inotify-tools.sourceforge.net/下载相应的inotify-tools版本，然后开始编译安装：

[root@localhost  ~]# tar zxvf inotify-tools-3.14.tar.gz    &&  yum install inotify-tools

root@localhost  ~]# cd inotify-tools-3.14

[root@localhost inotify-tools-3.14]# ./configure

[root@localhost inotify-tools-3.14]# make

[root@localhost inotify-tools-3.14]# make install

[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*

-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait

-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch

inotify-tools安装完成后，会生成inotifywait和inotifywatch两个指令，其中，inotifywait用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。

inotifywatch用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。


四、 inotify相关参数

inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。

   /proc/sys/fs/inotify/max_queued_evnets    

      表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。

   /proc/sys/fs/inotify/max_user_instances

       表示每一个real user ID可创建的inotify instatnces的数量上限。

   /proc/sys/fs/inotify/max_user_watches

       表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：

echo 30000000 > /proc/sys/fs/inotify/max_user_watches


五、 inotifywait相关参数

Inotifywait是一个监控等待事件，可以配合shell脚本使用它，下面介绍一下常用的一些参数：

-m， 即--monitor，表示始终保持事件监听状态。

-r， 即--recursive，表示递归查询目录。

-q， 即--quiet，表示打印出监控事件。

-e， 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等。

更详细的请参看man  inotifywait



一、主服务器（server端:安装rsync && inotify-tools）

其中主服务器需要安装rsync与inotify，主服务器作为server，向备份服务器client传输文件

1、安装rsync

[root@nginx ~]# cd /usr/src/  

[root@nginx src]# ll  

total 16  

drwxr-xr-x 2 root root 4096 Jan 26  2010 debug  

drwxr-xr-x 2 root root 4096 Jan 26  2010 kernels  

[root@nginx src]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  

[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz  

[root@nginx src]# cd rsync-3.0.9  

[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync  

[root@nginx rsync-3.0.9]# make  

[root@nginx rsync-3.0.9]# make install  

2、建立密码认证文件

[root@nginx rsync-3.0.9]# cd /usr/local/rsync/  


[root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync.passwd  


其中rsync-pwd可以自己设置密码，rsync.passwd名字也可以自己设置


[root@nginx rsync]# chmod 600 rsync.passwd

无论是为了安全，还是为了避免出现以下错误，密码文件都需要给600权限

password file must not be other-accessible  

continuing without password file  

3、安装inotify

[root@nginx rsync]# cd /usr/src/  

[root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  

[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz  

[root@nginx src]# cd inotify-tools-3.14  

[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify  

[root@nginx inotify-tools-3.14]# make  

[root@nginx inotify-tools-3.14]# make install  

4、创建rsync复制脚本

此项功能主要是将server端的目录/tmp里的内容，如果修改了（无论是添加、修改、删除文件）能够通过inotify监控到，并通过rsync实时的同步给client的/tmp里，下面是通过shell脚本实现的。

#!/bin/bash  

host=192.168.44.128  #client的ip地址

src=/home/

des=web#client端的rsync.conf配置文件里的目录，不是path

user=root

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src  | while read files  

do  

/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.passwd $src $user@$host::$des  

echo "${files} was rsynced" >>/tmp/rsync.log 2>&1  

done


注意：

其中host是client的ip，src是server端要实时监控的目录，des是认证的模块名，需要与client一致，user是建立密码文件里的认证用户。

把这个脚本命名为rsync.sh，放到监控的目录里，比如我的就放到/tmp下面，并给予764权限


[root@nginx tmp]# chmod 764 rsync.sh

然后运行这个脚本

[root@nginx tmp]# sh /tmp/rsync.sh &

请记住，只有在备份服务器client端的rsync安装并启动rsync之后，在启动rsync.sh脚本，否则有时候会满屏出现：

rsync: failed to connect to 192.168.10.221: Connection refused (111)  

rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]  

我们还可以把rsync.sh脚本加入到开机启动项里

[root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local



二、备份服务器（client）

1、安装rsync（备份服务器只安装rsync）

[root@nginx-backup ~]# cd /usr/src/  

[root@nginx-backup src]# ll  

total 16  

drwxr-xr-x 2 root root 4096 Jan 26  2010 debug  

drwxr-xr-x 2 root root 4096 Jan 26  2010 kernels  

[root@nginx-backup src]# wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz  

[root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz  

[root@nginx-backup src]# cd rsync-3.0.9  

[root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync  

[root@nginx-backup rsync-3.0.9]# make  

[root@nginx-backup rsync-3.0.9]# make install  

2、建立用户与密码认证文件

[root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd


请记住，在server端建立的密码文件，只有密码，没有用户名；而在备份服务端client里建立的密码文件，用户名与密码都有。


[root@nginx-backup rsync]# chmod 600 rsync.passwd

需要给密码文件600权限


添加自启动

echo "/usr/bin/rsync --daemon" >> /etc/rc.local


3、建立rsync配置文件

vim rsync.conf


uid = root

gid = root

use chroot = no

max connections = 10

strict modes = yes

pid file = /var/run/rsyncd.pid  

lock file = /var/run/rsync.lock  

log file = /var/log/rsyncd.log  

#以上为全局配置

[web]#模块名是web

path = /tmp/  

comment = web file  

ignore errors  

read only = no

write only = no

hosts allow = 192.168.10.220   #可以访问此模块的主机，*表示任何主机，此处是网段，某个主机直接写ip

hosts deny = *  

list = false

uid = root

gid = root

auth users = root

secrets file = /usr/local/rsync/rsync.passwd  


例子：

uid = root                             #全局配置开始，运行rsync的用户

gid = root                             #运行rsync的用户组

usechroot = no                     #是否让进程离开工作目录

max connections = 20            #最大并发数

timeout = 600                       #连接超时时间

pid file = /var/run/rsyncd.pid            #指定rsync的pid存放路径

lock file = /var/run/rsync.lock           #指定rsync的锁文件存放路径

log file = /var/log/rsyncd.log             #指定rsync的日志存放路径

[web_log]                            #模块配置开始

path = /data/web_log/             #需要备份的文件路径

ignore errors                         #忽略一些无关的I/O错误

read only = false                    #false为关闭,true表示开启。表示只读，不允许上传文件

writeonly = false                    #不允许下载

list = false                            #客户请求可以使用模块列表时是否被列出

hosts allow = 192.168.1.0/24           #可以访问此模块的主机，*表示任何主机，此处是网段，某个主机直接写ip

hosts deny = 0.0.0.0/32                     #禁止访问此模块的主机地址

auth users = backuser                        #自定义连接该模块的用户名，多个用户用逗号分隔

secrets file = /etc/rsync.password #指定一个包含“用户名：密码”格式的文件



其中web是server服务端里的认证模块名称，需要与主服务器里的一致，以上的配置我的自己服务器里的配置，以供参考。



把配置文件命名为rsync.conf，放到/usr/local/rsync/目录里


启动rsync

[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf

如果出现以下问题：

/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory，

可以采用下面方法解决

[root@nginx-backup rsync]# whereis libiconv.so.2  

libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so  

找到所需模块所在的目录，然后把此目录添加到/etc/ld.so.conf里，并更新库文件

[root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf  

[root@nginx-backup rsync]# ldconfig  


我们可以把rsync脚本加入到开机启动项里

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local 。