企业级rsync同步：sersync多目录实时步操作记录

sersync主要用于服务器同步，web镜像等功能。基于boost1.43.0,inotify api,rsync command.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync ，另外一个是google开源项目Openduckbill（依赖于inotify- tools），这两个都是基于脚本语言编写的。相比较上面两个项目，本项目优点是：


Sersync 使用 c++ 编写，对 linux 系统文件产生的临时文件和重复的文件操作会进行过滤，在本文后面会提到该点。使用 rsync sersyc结合做同步的时候，会大大减少运行时所消耗的本地以及网络资源，因此在速度方面有显著提升。
相比 Inotify-tools 和 Openduckbill，Sersync 配置起来更为简单方便。在谷歌 Sersync 项目下载的安装包的 bin 目录下，放置了已经编译好的二进制文件，搭配 bin 目录下的xml文件可以直接部署使用。
Sersync 采用多线程（默认10）进行同步（即可以并发同步多个不同文件），尤其是针对较大文件同步的时候，它能够保证多个服务器实时保持同步状态。
Sersync 自带了出错处理机制。它可以通过失败队列自动对之前出错的文件进行重新同步操作。如果届时依旧失败，它会每 10 个小时对同步失败的文件再进行重新同步操作，直到文件同步为止。
Sersync 自带有 crontab 功能，因此不需要借助系统的 crontab ，只需在 xml 配置文件中开启该功能，即可按预先的配置，每隔一段时间自动做一次整体同步操作。
Sersync 还自带了 socket 与 refreshCDN 的协议扩展，可以满足有特殊需求的公司二次开发。（之前的版本有https扩展，目前已去除）
sersync架构图


针对上图的设计架构，这里做几点说明，来帮助大家阅读和理解该图：


线程组线程是等待线程队列的守护线程，当事件队列中有事件产生的时候，线程组守护线程就会逐个唤醒同步线程。当队列中 Inotify 事件较多的时候，同步线程就会被全部唤醒一起工作。这样设计的目的是为了能够同时处理多个 Inotify 事件，从而提升服务器的并发同步能力。同步线程的最佳数量=核数 x 2 + 2。
那么之所以称之为线程组线程，是因为每个线程在工作的时候，会根据服务器上新写入文件的数量去建立子线程，子线程可以保证所有的文件与各个服务器同时同步。当要同步的文件较大的时候，这样的设计可以保证每个远程服务器都可以同时获得需要同步的文件。
服务线程的作用有三个：
处理同步失败的文件，将这些文件再次同步，对于再次同步失败的文件会生成 rsync_fail_log.sh 脚本，记录失败的事件。
每隔10个小时执行 rsync_fail_log.sh 脚本一次，同时清空脚本。
crontab功能，可以每隔一定时间，将所有路径整体同步一次。
过滤队列的建立是为了过滤短时间内产生的重复的inotify信息，例如在删除文件夹的时候，inotify就会同时产生删除文件夹里的文件与删除文件夹的事件，通过过滤队列，当删除文件夹事件产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条删除文件夹的事件，从而减轻了同步的负担。同时对于修改文件的操作的时候，会产生临时文件的重复操作。
Ifnotify事件分析


下面来用具体数据去做分析，来解释为什么 Sersync 比 Inotify-tools 和 Openduckbill 更优秀！
首先来看一张图，这张图是从谷歌 Sersync 项目组的分析文档里面摘出来的，该图是对同一个文件做write and close操作的时候，产生的10个事件。


wq


为什么我们认为脚本监控效率低?


由于我们执行复制，移动，新建，删除等操作时，会产生诸多事件。又上图来看他除了产生.开头的隐藏临时文件和~结尾的临时文件，还产生了3个4913的数字命名的临时文件（注意，在 write 文件的时候，总会产生这3个数字文件，除非write的文件名叫做4913时，才会产生别的数字命名的事件）。


因此当我们使用脚本监控，即使通过使用 –exclude 这样的选项结合正则语法，也无法完美过滤掉一些文件系统产生的临时文件和临时事件，这样就造成了 rsync 的反复执行。即便你把“.”开头与“~”结尾的事件过滤了，对于test文件仍旧有3次操作，分别是8、64和256。


补充：这里简单介绍下事件名称与对应代码。


事件256代表create事件，
事件8代表write_close事件，
事件512代表remove事件，
事件64是move_from事件，即将文件mv出当前路径时产生事件。
事件128是move_to事件，即将其它路径的文件移入到当前路径。
移出与移入操作可以通过cookie值来确定是否是同一文件。


由此可见，当移动操作时候，是将 test 移动为 test~ ，其实是修改了名字，通过 cookie 可以看出，它们是对同一文件的操作。


此时，我们 Sersync 的过滤队列效果就出来了！以下是过滤队列的三大作用！


1、过滤队列的第一个作用


按照如上的情形，如果通过过滤队列，就只会剩下一个 8 号事件，一定程度上也提高了同步的效率。


2、过滤队列的第二个作用


当你在本机删除目录的时候，假设你删除了一个包含 5 个文件的目录。Inotify 会产生 6 个事件出来，分别是 5 个文件删除事件和 1 个目录删除事件。如果使用过滤队列的话，正常情况下会只产生一个目录删除事件，这无疑大大减少了 Inotify 事件的产生，从而减少 Rsync 无谓的同步次数。当然，这里说的也不绝对。如果这 6 个事件分多次读到进入队列，那么可能还没来得及过滤，就已经被同步线程从队列中取走同步了，但是这确实在一定程度上减少了删除目录时的同步通信次数。


3、过滤队列的第三个作用


它可以过滤监控目录下的目录。如果我们不想同步目录下的某些目录或者一些后缀的文件，只需要在inotify启动的时候，remove 掉那些不需监控的子目录监控即可。对于不需要监控的子目录，产生的文件事件就会从载入同步队列前过滤掉。如果使用 Rsync 用 -exclude 参数虽然也可以实现过滤，但是还要与 Rsync 守护进程进行了一次交互才行。




一.环境描述
 测试环境
需求：服务器A与服务器B为主备服务模式，需要保持文件一致性，现采用sersync基于rsync+inotify实现数据实时同步
 
环境描述： 
主服务器222.173.188.43        从服务器：119.36.192.44，119.36.192.43
 
二.实施方法
1.从服务器119.36.192.44 ，119.36.192.43 rsync服务搭建
1.1下载软件包至从服务器
下载地址：http://rsync.samba.org/ftp/rsync/src
可根据环境需求下载相应的软件版本，本实验下载版本为rsync-3.1.1.tar.gz
1.2安装软件包
cd /usr/src
wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
解压
tar xf rsync-3.1.1.tar.gz –C /usr/local
mv /usr/local/rsync-3.1.1  /usr/local/rsync
cd  /usr/local/rsync
./configure
make &&　make install


当然你也可以使用yum安装
yum install rsync -y


创建rsyncd.conf文件
vi /etc/rsyncd.conf
 
uid = root    #以root用户运行rsync服务
gid = root    #以root用户运行rsync服务
use chroot = no  #增加对目录文件软连接的备份
max connections = 1200  #最大连接数
timeout = 800    #超时时间
pid file = /var/run/rsyncd.pid   #PID存放位置
lockfile = /var/run/rsyncd.lock  #锁文件存放位置
log file = /var/log/rsyncd.log  #日志存放位置
ignore errors = yes  #忽略无关错误信息
hosts allow = 222.173.188.43   #允许访问IP
hosts deny = *　＃除了222.173.188.43主机外拒绝所有
read only = no#允许上传
write only = no #允许下载
list = yes   #允许列出同步目录
auth users = root   #同步的用户
secrets file = /etc/rsync.pass  #存放用户密码的文件
###########可以配置多个同步模块
[tongbu]  #认证模块名
path = /opt/tongbu   #同步A服务器的文件路径
[download]
path = /download
注：/etc/rsync.pass 文件格式为username:password
文件权限必须为600否则服务不正常
 




示范配置
vim /etc/rsyncd.conf
uid=root
gid=root
port = 19873
list = no
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
auth users = root
strict modes = yes
secrets file = /etc/rsyncd.up
ignore errors = yes
read only = no
hosts allow = *
hosts deny = *


# ++++++++ ad_mobile down file config  ++++++++
[AdMobile]
path=/home/ad_mobile/yidonggg
[AdMobileX1YiwanCom]
path=/home/ad_mobile/yidonggg/x1.yiwan.com
[AdMobileX1Tg]
path=/home/ad_mobile/yidonggg/x1_Tg
[AdMobileYidongsoftTgWeiweishenqiCom]
path=/home/ad_mobile/yidongsofttg/weiweishenqi.com
[AdMobileYidongsoftTgQianghongbaoyoCom]
path=/home/ad_mobile/yidongsofttg/qianghongbaoyo.com
[AdMobileYidongsoftTgTongcheng258Com]
path=/home/ad_mobile/yidongsofttg/tongcheng258.com
[AdMobileYidongsoftTgGozitiCom]
path=/home/ad_mobile/yidongsofttg/goziti.com
[AdMobileYidongsoftTgNewGozitiCom]
path=/home/ad_mobile/yidongsofttg/new_goziti.com
[AdMobileYidongsoftTgQimingbossCom]
path=/home/ad_mobile/yidongsofttg/qimingboss.com
[AdMobileYidongsoftTgFuzhugoCom]
path=/home/ad_mobile/yidongsofttg/fuzhugo.com
[AdMobileYidongsoftTgX1dyj1888Com]
path=/home/ad_mobile/yidongs