rsync+sersync多线程实时同步

一、sersync优点

1）使用c++编写，对linux系统文件产生的临时文件和重复文件操作会进行过滤，在结合rsync同步的时候，会减少运行时消耗的本地及网络资源，因此速度更快。

2）相比较inotify-tools，sersync配置起来简单，https://code.google.com/archive/p/sersync/downloads下载源码，其中bin目录下是已经编译好的二进制文件，配合bin目录下的xml文件直接使用即可。

3）使用多线程同步（可以并发同步多个不同的文件），尤其在同步较大文件时，能够保证多个服务器实时保持同步状态。

4）sersync自带出错处理机制，通过失败队列对出错的文件重新同步，如果仍旧失败，则每若干个小时对同步失败的文件再重新同步。

5）sersync自带crontab功能，只需在xml配置文件中开启，即可按预先的配置，隔一段时间整体同步一次。

6）sersync自带socket与http的协议扩展，可以满足有特殊需求的公司的二次开发。

7）当同步的目录数据量不大时，建议使用rsync+inotify；当同步的目录数据量很大时（几百G甚至1T以上）文件很多时，建议使用rsync+sersync

 

二、分析

1）线程组线程是等待线程队列的守护线程，当事件队列中有事件产生的时候，线程组守护线程就会逐个唤醒同步线程，当队列中inotify事件较多的时候，同步线程就会被全部唤醒一起工作。这样设计的目的是能够同时处理多个inotify事件，从而提升服务器的并发能力（核数*2+2）。之所以称之为线程组，是因为每个线程在工作的时候，会根据服务器上新写入文件的数量建立子线程，子线程可以保证所有的文件与各个服务器同时同步，当要同步的文件较大的时候，这样设计可以保证各个远程服务器可以同时获得要同步的文件。

2）服务线程的作用有三个：

　　a)首先是处理同步失败的文件，将这些文件再次同步，对于再次同步失败的文件会生成rsync_fail_log.sh脚本，记录失败的事件。

　　b)每隔10隔小时执行脚本一次，同时清空脚本。

　　c)第三个作用是crontab功能，可以每隔一定时间，将所有路径整体同步一次。

3）过滤队列的建立是为了过滤短时间内产生的重复的inofity信息，例如在删除文件夹的时候，inotify就会同时产生删除文件夹里的文件与文件夹的事件，通过过滤队列，当删除文件夹事件产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条删除文件夹的事件，从而减轻了同步的负担。同时对于修改文件的操作的时候，会产生临时文件的重复操作，过滤队列也会过滤掉这些临时文件。

 

三、rsync服务，下面只有关于这个项目的一些简单配置，具体请看http://www.cnblogs.com/bill2014/p/7398760.html

1)服务端的rsyncd.conf

[root@rsyncserver ~]# cat >rsyncd.conf<<EOF
#Rsync server
##rsyncd.conf start##
uid = root    这个就是共享目录的权限
gid = root    这个就是共享目录的权限
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
ho