企业级rsync同步：sersync多目录实时步操作记录

sersync主要用于服务器同步，web镜像等功能。基于boost1.43.0,inotify api,rsync command.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync ，另外一个是google开源项目Openduckbill（依赖于inotify- tools），这两个都是基于脚本语言编写的。相比较上面两个项目，本项目优点是：


Sersync 使用 c++ 编写，对 linux 系统文件产生的临时文件和重复的文件操作会进行过滤，在本文后面会提到该点。使用 rsync sersyc结合做同步的时候，会大大减少运行时所消耗的本地以及网络资源，因此在速度方面有显著提升。
相比 Inotify-tools 和 Openduckbill，Sersync 配置起来更为简单方便。在谷歌 Sersync 项目下载的安装包的 bin 目录下，放置了已经编译好的二进制文件，搭配 bin 目录下的xml文件可以直接部署使用。
Sersync 采用多线程（默认10）进行同步（即可以并发同步多个不同文件），尤其是针对较大文件同步的时候，它能够保证多个服务器实时保持同步状态。
Sersync 自带了出错处理机制。它可以通过失败队列自动对之前出错的文件进行重新同步操作。如果届时依旧失败，它会每 10 个小时对同步失败的文件再进行重新同步操作，直到文件同步为止。
Sersync 自带有 crontab 功能，因此不需要借助系统的 crontab ，只需在 xml 配置文件中开启该功能，即可按预先的配置，每隔一段时间自动做一次整体同步操作。
Sersync 还自带了 socket 与 refreshCDN 的协议扩展，可以满足有特殊需求的公司二次开发。（之前的版本有https扩展，目前已去除）
sersync架构图


针对上图的设计架构，这里做几点说明，来帮助大家阅读和理解该图：


线程组线程是等待线程队列的守护线程，当事件队列中有事件产生的时候，线程组守护线程就会逐个唤醒同步线程。当队列中 Inotify 事件较多的时候，同步线程就会被全部唤醒一起工作。这样设计的目的是为了能够同时处理多个 Inotify 事件，从而提升服务器的并发同步能力。同步线程的最佳数量=核数 x 2 + 2。
那么之所以称之为线程组线程，是因为每个线程在工作的时候，会根据服务器上新写入文件的数量去建立子线程，子线程可以保证所有的文件与各个服务器同时同步。当要同步的文件较大的时候，这样的设计可以保证每个远程服务器都可以同时获得需要同步的文件。
服务线程的作用有三个：
处理同步失败的文件，将这些文件再次同步，对于再次同步失败的文件会生成 rsync_fail_log.sh 脚本，记录失败的事件。
每隔10个小时执行 rsync_fail_log.sh 脚本一次，同时清空脚本。
crontab功能，可以每隔一定时间，将所有路径整体同步一次。
过滤队列的建立是为了过滤短时间内产生的重复的inotify信息，例如在删除文件夹的时候，inotify就会同时产生删除文件夹里的文件与删除文件夹的事件，通过过滤队列，当删除文件夹事件产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条删除文件夹的事件，从而减轻了同步的负担。同时对于修改文件的操作的时候，会产生临时文件的重复操作。
Ifnotify事件分析


下面来用具体数据去做分析，来解释为什么 Sersync 比 Inotify-tools 和 Openduckbill 更优秀！
首先来看一张图，这张图是从谷歌 Sersync 项目组的分析文档里面摘出来的，该图是对同一个文件做write and close操作的时候，产生的10个事件。


wq


为什么我们认为脚本监控效率低?


由于我们执行复制，移动，新建，删除等操作时，会产生诸多事件。又上图来看他除了产生.开头的隐藏临时文件和~结尾的临时文件，还产生了3个4913的数字命名的临时文件（注意，在 write 文件的时候，总会产生这3个数字文件，除非write的文件名叫做4913时，才会产生别的数字命名的事件）。


因此当我们使用脚本监控，即使通过使用 –exclude 这样的选项结合正则语法，也无法完美过滤掉一些文件系统产生的临时文件和临时事件，这样就造成了 rsync 的反复执行。即便你把“.”开头与“~”结尾的事件过滤了，对于test文件仍旧有3次操作，分别是8、64和256。


补充：这里简单介绍下事件名称与对应代码。


事件256代表create事件，
事件8代表write_close事件，
事件512代表remove事件，
事件64是move_from事件，即将文件mv出当前路径时产生事件。
事件128是move_to事件，即将其它路径的文件移入到当前路径。
移出与移入操作可以通过cookie值来确定是否是同一文件。


由此可见，当移动操作时候，是将 test 移动为 test~ ，其实是修改了名字，通过 cookie 可以看出，它们是对同一文件的操作。


此时，我们 Sersync 的过滤队列效果就出来了！以下是过滤队列的三大作用！


1、过滤队列的第一个作用


按照如上的情形，如果通过过滤队列，就只会剩下一个 8 号事件，一定程度上也提高了同步的效率。


2、过滤队列的第二个作用


当你在本机删除目录的时候，假设你删除了一个包含 5 个文件的目录。Inotify 会产生 6 个事件出来，分别是 5 个文件删除事件和 1 个目录删除事件。如果使用过滤队列的话，正常情况下会只产生一个目录删除事件，这无疑大大减少了 Inotify 事件的产生，从而减少 Rsync 无谓的同步次数。当然，这里说的也不绝对。如果这 6 个事件分多次读到进入队列，那么可能还没来得及过滤，就已经被同步线程从队列中取走同步了，但是这确实在一定程度上减少了删除目录时的同步通信次数。


3、过滤队列的第三个作用


它可以过滤监控目录下的目录。如果我们不想同步目录下的某些目录或者一些后缀的文件，只需要在inotify启动的时候，remove 掉那些不需监控的子目录监控即可。对于不需要监控的子目录，产生的文件事件就会从载入同步队列前过滤掉。如果使用 Rsync 用 -exclude 参数虽然也可以实现过滤，但是还要与 Rsync 守护进程进行了一次交互才行。




一.环境描述
 测试环境
需求：服务器A与服务器B为主备服务模式，需要保持文件一致性，现采用sersync基于rsync+inotify实现数据实时同步
 
环境描述： 
主服务器222.173.188.43        从服务器：119.36.192.44，119.36.192.43
 
二.实施方法
1.从服务器119.36.192.44 ，119.36.192.43 rsync服务搭建
1.1下载软件包至从服务器
下载地址：http://rsync.samba.org/ftp/rsync/src
可根据环境需求下载相应的软件版本，本实验下载版本为rsync-3.1.1.tar.gz
1.2安装软件包
cd /usr/src
wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
解压
tar xf rsync-3.1.1.tar.gz –C /usr/local
mv /usr/local/rsync-3.1.1  /usr/local/rsync
cd  /usr/local/rsync
./configure
make &&　make install


当然你也可以使用yum安装
yum install rsync -y


创建rsyncd.conf文件
vi /etc/rsyncd.conf
 
uid = root    #以root用户运行rsync服务
gid = root    #以root用户运行rsync服务
use chroot = no  #增加对目录文件软连接的备份
max connections = 1200  #最大连接数
timeout = 800    #超时时间
pid file = /var/run/rsyncd.pid   #PID存放位置
lockfile = /var/run/rsyncd.lock  #锁文件存放位置
log file = /var/log/rsyncd.log  #日志存放位置
ignore errors = yes  #忽略无关错误信息
hosts allow = 222.173.188.43   #允许访问IP
hosts deny = *　＃除了222.173.188.43主机外拒绝所有
read only = no#允许上传
write only = no #允许下载
list = yes   #允许列出同步目录
auth users = root   #同步的用户
secrets file = /etc/rsync.pass  #存放用户密码的文件
###########可以配置多个同步模块
[tongbu]  #认证模块名
path = /opt/tongbu   #同步A服务器的文件路径
[download]
path = /download
注：/etc/rsync.pass 文件格式为username:password
文件权限必须为600否则服务不正常
 




示范配置
vim /etc/rsyncd.conf
uid=root
gid=root
port = 19873
list = no
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
auth users = root
strict modes = yes
secrets file = /etc/rsyncd.up
ignore errors = yes
read only = no
hosts allow = *
hosts deny = *


# ++++++++ ad_mobile down file config  ++++++++
[AdMobile]
path=/home/ad_mobile/yidonggg
[AdMobileX1YiwanCom]
path=/home/ad_mobile/yidonggg/x1.yiwan.com
[AdMobileX1Tg]
path=/home/ad_mobile/yidonggg/x1_Tg
[AdMobileYidongsoftTgWeiweishenqiCom]
path=/home/ad_mobile/yidongsofttg/weiweishenqi.com
[AdMobileYidongsoftTgQianghongbaoyoCom]
path=/home/ad_mobile/yidongsofttg/qianghongbaoyo.com
[AdMobileYidongsoftTgTongcheng258Com]
path=/home/ad_mobile/yidongsofttg/tongcheng258.com
[AdMobileYidongsoftTgGozitiCom]
path=/home/ad_mobile/yidongsofttg/goziti.com
[AdMobileYidongsoftTgNewGozitiCom]
path=/home/ad_mobile/yidongsofttg/new_goziti.com
[AdMobileYidongsoftTgQimingbossCom]
path=/home/ad_mobile/yidongsofttg/qimingboss.com
[AdMobileYidongsoftTgFuzhugoCom]
path=/home/ad_mobile/yidongsofttg/fuzhugo.com
[AdMobileYidongsoftTgX1dyj1888Com]
path=/home/ad_mobile/yidongsofttg/x1.dyj1888.com
[AdMobileYidongggx1newgamerskybbouxcom]
path=/home/ad_mobile/yidonggg/x1-newgamersky.bboux.com
[AdMobileYidongggx1newyiwanbbfvrecom]
path=/home/ad_mobile/yidonggg/x1-newyiwan.bbfvre.com
[AdMobileRiliDownLedouuCom]
path=/home/ad_mobile/rili.down.ledouu.com
.
.
.
# ++++++++ youxihe config  ++++++++


[Youxihe]
path=/home/youxihe
[YouxiheBox64]
path=/home/youxihe/box64
[YouxiheBox64Ad]
path=/home/youxihe/box64_ad
[YouxiheAkdanjiCom]
path=/home/youxihe/box_akdanji_com
[YouxihePaopaocheNet]
path=/home/youxihe/box_paopaoche_net
[YouxiheBoxDown499Cn]
path=/home/youxihe/boxdown_499_cn
[YouxiheBuding2BoxgamerskyCn]
path=/home/youxihe/buding2.box_gamersky_cn
[YouxiheSoftyouxihe]
path=/home/youxihe/soft_youxihe
[YouxiheApptgS1.yiwan.com]
path=/home/youxihe/apptg/s1.yiwan.com
[YouxiheQqxzbGg]
path=/home/youxihe/qqxzb_gg


.
.
.
.




创建rsync.pass文件
echo “root:password”>>/etc/rsync.up
chmod 600 /etc/rsync.up
1.3启动服务


yum install  xinetd #安装


vi /etc/xinetd.d/rsync #编辑配置文件，设置开机启动rsync


disable = no #修改为no


:wq! #保存退出


/etc/init.d/xinetd start #启动（CentOS中是以xinetd来管理Rsync服务的）


或者


rsync --daemon 
echo “rsync --daemon”>>/etc/rc.local
开机自启动
 
2.主服务器222.173.188.43配置


2.1安装sersync工具，实时触发rsync进行同步


2.1.1、查看服务器内核是否支持inotify


ll /proc/sys/fs/inotify   #列出文件目录，出现下面的内容，说明服务器内核支持inotify


-rw-r--r-- 1 root root 0 Mar  7 02:17 max_queued_events


-rw-r--r-- 1 root root 0 Mar  7 02:17 max_user_instances


-rw-r--r-- 1 root root 0 Mar  7 02:17 max_user_watches


备注：Linux下支持inotify的内核最小为2.6.13，可以输入命令：uname -a查看内核


CentOS 6.X 内核默认已经支持inotify


2.1.2、修改inotify默认参数（inotify默认内核参数值太小）


查看系统默认参数值：


sysctl -a | grep max_queued_events


结果是：fs.inotify.max_queued_events = 16384


sysctl -a | grep max_user_watches


结果是：fs.inotify.max_user_watches = 8192


sysctl -a | grep max_user_instances


结果是：fs.inotify.max_user_instances = 128


修改参数：


sysctl -w fs.inotify.max_queued_events="99999999"


sysctl -w fs.inotify.max_user_watches="99999999"


sysctl -w fs.inotify.max_user_instances="65535"


vi /etc/sysctl.conf #添加以下代码


fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535


:wq! #保存退出


参数说明：


max_queued_events：


inotify队列最大长度，如果值太小，会出现"** Event Queue Overflow **"错误，导致监控文件不准确


max_user_watches：


要同步的文件包含多少目录，可以用：find /home/www.osyunwei.com -type d | wc -l 统计，必须保证max_user_watches值大于统计结果（这里/home/www.osyunwei.com为同步文件目录）


max_user_instances：


每个用户创建inotify实例最大值


2.2下载软件包
所需软件包为：
rsync-3.1.1.tar.gz    inotify-tools-3.14.tar.gz   sersync2.5.4_64bit_binary_stable_final.tar.gz
rysnc下载地址：wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
inotify-tools下载：wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
sersync下载：https://code.google.com/p/sersync/downloads
 
2.3软件安装
软件下载好之后解压安装
cd /usr/src
wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
 
解压
tar xf rsync-3.1.1.tar.gz –C /usr/local
tar xf inotify-tools-3.14.tar.gz –C /usr/local
tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local
cd /usr/local
mv rsync-3.1.1 rsync
mv inotify-tools-3.14 inotify-tool
cd /usr/local
mv GNU-Linux-x86 sersync
tree sersync       
sersync
├── confxml.xml
└── sersync2


cd  sersync
mkdir -pv conf bin logs
mv confxml.xml conf
mv sersync2 bin/sersync
tree /usr/local/sersync/
/usr/local/sersync/
├── bin
│   └── sersync
├── conf
│   └── confxml.xml
└── logs
 
编译安装rsync
cd rsync
./configure && make && make install
编译安装inotify-tools
cd inotify-tools
./configure && make && make install
 
2.4服务配置
配置sersync






cp conf/confxml.xml conf/confxml.xml.$(date +%F)
cd conf/
ls
confxml.xml  confxml.xml.2017-06-06


复制多目录的配置
cp /usr/local/sersync/conf/{confxml.xml,391kComX1.xml}
cp /usr/local/sersync/conf/{confxml.xml,AdMobileRiliDownLedouuCom.xml}
cp /usr/local/sersync/conf/{confxml.xml,AdMobileX1Tg.xml}
.
.
.
.
cp /usr/local/sersync/conf/{confxml.xml,gamerskySetupAdsFile.xml}
[root@yx-188-13 conf]# ls
391kComX1.xml                            AdMobileYidongsoftTgQianghongbaoyoCom.xml  YouxiheBox64Ad.xml
AdMobileRiliDownLedouuCom.xml            AdMobileYidongsoftTgQimingbossCom.xml      YouxiheBox64azgg.xml
AdMobileX1Tg.xml                         AdMobileYidongsoftTgTongcheng258Com.xml    YouxiheBox64.xml
AdMobileX1YiwanCom.xml                   AdMobileYidongsoftTgWeiweishenqiCom.xml    YouxiheBoxDown499Cn.xml
AdMobileYidongggx1newyiwanbbfvrecom.xml  AdMobileYidongsoftTgXxzhuomian.xml         YouxiheBuding2BoxgamerskyCn.xml
AdMobileYidongggx1newgamerskybbouxcom.xml  confxml.xml.2017-06-06                     YouxihePaopaocheNet.xml
AdMobileYidongsoftHgreadCom.xml          confxml.xml.bak                            YouxiheQqxzbGg.xml
AdMobileYidongsoftTgGozitiCom.xml        NginxConf.xml                              YouxiheSoftyouxihe.xml
AdMobileYidongsoftTgNewGozitiCom.xml     YouxiheAkdanjiCom.xml                      gamerskySetupAdsFile.xml


初始的配置文件
cat -n confxml.xml.2017-06-06
     1  <?xml version="1.0" encoding="ISO-8859-1"?>
     2  <head version="2.5">
     3      <host hostip="localhost" port="8008"></host>
     4      <debug start="false"/>
     5      <fileSystem xfs="false"/>
     6      <filter start="false">
     7          <exclude expression="(.*)\.svn"></exclude>
     8          <exclude expression="(.*)\.gz"></exclude>
     9          <exclude expression="^info/*"></exclude>
    10          <exclude expression="^static/*"></exclude>
    11      </filter>
    12      <inotify>
    13          <delete start="true"/>
    14          <createFolder start="true"/>
    15          <createFile start="false"/>
    16          <closeWrite start="true"/>
    17          <moveFrom start="true"/>
    18          <moveTo start="true"/>
    19          <attrib start="false"/>
    20          <modify start="false"/>
    21      </inotify>
    22
    23      <sersync>
    24          <localpath watch="/opt/tongbu">
    25              <remote ip="127.0.0.1" name="tongbu1"/>
    26              <!--<remote ip="192.168.8.39" name="tongbu"/>-->
    27              <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    28          </localpath>
    29          <rsync>
    30              <commonParams params="-artuz"/>
    31              <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
    32              <userDefinedPort start="false" port="874"/><!-- port=874 -->
    33              <timeout start="false" time="100"/><!-- timeout=100 -->
    34              <ssh start="false"/>
    35          </rsync>
    36          <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    37          <crontab start="false" schedule="600"><!--600mins-->
    38              <crontabfilter start="false">
    39                  <exclude expression="*.php"></exclude>
    40                  <exclude expression="info/*"></exclude>
    41              </crontabfilter>
    42          </crontab>
    43          <plugin start="false" name="command"/>
    44      </sersync>
    45
    46      <plugin name="command">
    47          <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
    48          <filter start="false">
    49              <include expression="(.*)\.php"/>
    50              <include expression="(.*)\.sh"/>
    51          </filter>
    52      </plugin>
    53
    54      <plugin name="socket">
    55          <localpath watch="/opt/tongbu">
    56              <deshost ip="192.168.138.20" port="8009"/>
    57          </localpath>
    58      </plugin>
    59      <plugin name="refreshCDN">
    60          <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
    61              <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
    62              <sendurl base="http://pic.xoyo.com/cms"/>
    63              <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    64          </localpath>
    65      </plugin>
    66  </head>



修改配置文件：
vim /usr/local/sersync/conf/391kComX1.xml
<inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="true"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="true"/>
        <modify start="true"/>
    </inotify>


    <sersync>
        <localpath watch="/home/391k/x1_391k"><!—与从服务器同步的文件路径-->
            <remote ip="119.36.192.44" name="391kComX1"/><!—与从服务器的模块名必须相同-->
<remote ip="119.36.192.43" name="391kComX1"/>
        </localpath>
        <!-- ################################### -->
        <rsync>
            <commonParams params="-auvzP"/><!—rsync参数设置-->
            <auth start="true" users="root" passwordfile="/etc/rsyncd.down"/>
            <userDefinedPort start="true" port="19873"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--><!—sersync日志位置-->
        <crontab start="true" schedule="10"><!--600mins-->



########如果是多个目录同步需要起多个sersync进程同时需要多个启动配置文件
vim AdMobileRiliDownLedouuCom.xml
<inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="true"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="true"/>
        <modify start="true"/>
    </inotify>


    <sersync>
        <localpath watch="/home/ad_mobile/rili.down.ledouu.com">
            <remote ip="119.36.192.44" name="AdMobileRiliDownLedouuCom"/>
<remote ip="119.36.192.43" name="AdMobileRiliDownLedouuCom"/>
        </localpath>
        <!-- ################################### -->
        <rsync>
            <commonParams params="-auvzP"/>
            <auth start="true" users="root" passwordfile="/etc/rsyncd.down"/>
            <userDefinedPort start="true" port="19873"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execu
te once-->
.
.
.
vim gamerskySetupAdsFile.xml
<inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="true"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="true"/>
        <modify start="true"/>
    </inotify>


    <sersync>
        <localpath watch="/home/gamersky/adsfile/setupadsfile">
            <remote ip="119.36.192.44" name="gamerskySetupAdsFile"/>
<remote ip="119.36.192.43" name="gamerskySetupAdsFile"/>
        </localpath>
        <!-- ################################### -->
        <rsync>
            <commonParams params="-auvzP"/>
            <auth start="true" users="root" passwordfile="/etc/rsyncd.down"/>
            <userDefinedPort start="true" port="19873"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
 


 
 参数说明：


localpath watch="/home/www.osyunwei.com"：#源服务器同步目录


119.36.192.44：#目标服务器IP地址，可以设置多个目标服务器的IP地址！！！！


name="home_www.osyunwei.com"： #目标服务器rsync同步目录模块名称


users="home_www.osyunwei.com_user"： #目标服务器rsync同步用户名


passwordfile="/etc/passwd.txt"： #目标服务器rsync同步用户的密码在源服务器的存放路径


remote ip="119.36.192.44":  #目标服务器ip，每行一个


remote ip="119.36.192.43":  #目标服务器ip，每行一个


failLog path="/usr/local/sersync/logs/rsync_fail_log.sh"  #脚本运行失败日志记录


start="true"  #设置为true，我这里设置为每隔10分钟执行一次全盘同步，如果文件量很大，可以设置的时间长点，默认为600


完成配置后的总体展示：
tree /usr/local/sersync/
/usr/local/sersync/
├── bin
│ └── sersync
├── conf
│ ├── 391kComX1.xml
│ ├── AdMobileRiliDownLedouuCom.xml
│ ├── AdMobileX1Tg.xml
│ ├── AdMobileX1YiwanCom.xml
│ ├── AdMobileYidongggx1newyiwanbbfvrecom.xml
│ ├── AdMobileYidongggx1newgamerskybbouxcom.xml
│ ├── AdMobileYidongsoftHgreadCom.xml
│ ├── AdMobileYidongsoftTgGozitiCom.xml
│ ├── AdMobileYidongsoftTgNewGozitiCom.xml
│ ├── AdMobileYidongsoftTgQianghongbaoyoCom.xml
│ ├── AdMobileYidongsoftTgQimingbossCom.xml
│ ├── AdMobileYidongsoftTgTongcheng258Com.xml
│ ├── AdMobileYidongsoftTgWeiweishenqiCom.xml
│ ├── AdMobileYidongsoftTgXxzhuomian.xml
│ ├── confxml.xml.2017-06-06
│ ├── confxml.xml.bak
│ ├── NginxConf.xml
│ ├── YouxiheAkdanjiCom.xml
│ ├── YouxiheBox64Ad.xml
│ ├── YouxiheBox64azgg.xml
│ ├── YouxiheBox64.xml
│ ├── YouxiheBoxDown499Cn.xml
│ ├── YouxiheBuding2BoxgamerskyCn.xml
│ ├── YouxihePaopaocheNet.xml
│ ├── YouxiheQqxzbGg.xml
│ ├── YouxiheSoftyouxihe.xml
│ └── gamerskySetupAdsFile.xml
└── logs
    └── rsync_fail_log.sh


3 directories, 29 files
 
配置密码文件
echo “password”>>/etc/rsyncd.down
注：文件权限必须为600否则启动异常
2.4服务启动


echo 'export PATH=$PATH:/usr/local/sersync/bin' >> /etc/profile
tail -1 /etc/profile
source /etc/profile


设置sersync监控开机自动执行


vi /etc/rc.d/rc.local  #编辑，在最后添加一行


/usr/local/sersync/bin/sersync  -r -d -o /usr/local/sersync/conf/391kComX1.xml   
#######如果是多个目录同步需要启动两个进程
/usr/local/sersync/bin/sersync  -r -d -o /usr/local/sersync/conf/AdMobileRiliDownLedouuCom.xml   
.
.
.
 
添加脚本监控sersync是否正常运行


vi  /root/sersync.sh  #编辑，添加以下代码
#!/bin/sh 
# vim sersync.sh
sersync="/usr/local/sersync/bin/sersync" 
confxml=`find /usr/local/sersync/conf/ -name "*.xml"`  
sersync_status=`ps -ef | grep '/usr/local/sersync/conf' | grep -v 'grep' | wc -l`
if [ ${sersync_status} -eq 0 ]; 
 then  
  for i in ${confxml} ;
  do 
  ${sersync} -d -r -o $i  &
  done 
 else 
  exit 0;
fi


:wq!  #保存退出


chmod +x /home/crontab/check_sersync.sh #添加脚本执行权限


vi /etc/crontab #编辑，在最后添加下面一行
*/5 * * * *  /bin/bash /root/sersync.sh >/dev/null 2>&1    #每隔5分钟执行一次脚本




手动启动脚本
sh sersync.sh


如果你使用下面手动启动服务后查看结果可以在nohup.out文件里查看
nohup /usr/local/sersync/bin/sersync  -r -d -o /usr/local/sersync/conf/391kComX1.xml  &
#cat nohup.out


user is root
rsync the directory recursivly to the remote servers once
passwordfile is         /etc/rsyncd.down
working please wait...
execute command: cd /home/391k/x1_391k && rsync -auvzP -R --delete ./  --port=19873  --timeout=100 root@119.36.192.24::391kComX1 --password-file=/etc/rsyncd.down >/dev/null 2>&1 
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
use rsync password-file :
user is root
passwordfile is         /etc/rsyncd.down
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
.
.
.
.
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /home/gamersky/adsfile/setupadsfile && rsync -auvzP -R --delete ./  --port=19873  --timeout=100 root@119.36.192.24::gamerskySetupAdsFile --password-file=/etc/rsyncd.down >/dev/null 2>&1 
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /home/ad_mobile/yidongsofttg/tongcheng258.com && rsync -auvzP -R --delete ./  --port=19873  --timeout=100 root@119.36.192.24::AdMobileYidongsoftTgTongcheng258Com --password-file=/etc/rsyncd.down >/dev/null 2>&1 
run the sersync: 
watch path is: /home/youxihe/soft_youxihe
run the sersync: 
.
.
.
.
watch path is: /home/ad_mobile/yidonggg/x1.yiwan.com
run the sersync: 
watch path is: /home/youxihe/box64


或者
# ps -ef | grep sersync
root     10938     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileX1YiwanCom.xml
root     10952     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/391kComX1.xml
root     10955     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheSoftyouxihe.xml
root     10957     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftHgreadCom.xml
root     10960     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheQqxzbGg.xml
root     10969     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheAkdanjiCom.xml
root     10970     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheBox64.xml
root     10972     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgQimingbossCom.xml
root     10976     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgQianghongbaoyoCom.xml
root     10983     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheBox64Ad.xml
root     10984     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheBuding2BoxgamerskyCn.xml
root     10985     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxihePaopaocheNet.xml
root     10988     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheBox64azgg.xml
root     10992     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgXxzhuomian.xml
root     10994     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgGozitiCom.xml
root     10998     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongggx1newyiwanbbfvrecom.xml
root     11001     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileRiliDownLedouuCom.xml
root     11005     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgWeiweishenqiCom.xml
root     11006     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/YouxiheBoxDown499Cn.xml
root     11012     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/NginxConf.xml
root     11017     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/gamerskySetupAdsFile.xml
root     11022     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgNewGozitiCom.xml
root     11024     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongggx1newgamerskybbouxcom.xml
root     11040     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileX1Tg.xml
root     11048     1  0 15:23 ?        00:00:00 sersync -d -r -o /usr/local/sersync/conf/AdMobileYidongsoftTgTongcheng258Com.xml


sersync常用命令：
-d:启用守护进程模式
-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
-n:指定开启守护线程的数量，默认为10个
-o:指定配置文件，默认使用confxml.xml文件


 
验证
在主服务器222.173.188.43上的相应目录下创建文件查看从服务器119.36.192.44上是否有同步


至此，Linux下Rsync+sersync实现数据实时同步完成。


扩展阅读：


sersync学习参考网站：https://www.cnhzz.com/rsync_sersync/
                     https://github.com/wsgzao/sersync
                     https://code.google.com/p/sersync
                     https://www.ibm.com/developerworks/cn/linux/l-inotifynew/
                     https://hi.baidu.com/johntech/item/282552cfe6edb735449416e3
rsync官网网站：https://rsync.samba.org/


rsync参数


-v, --verbose 详细模式输出


-q, --quiet 精简输出模式


-c, --checksum 打开校验开关，强制对文件传输进行校验


-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD


-r, --recursive 对子目录以递归模式处理


-R, --relative 使用相对路径信息


-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。


--backup-dir 将备份文件(如~filename)存放在在目录下。


-suffix=SUFFIX 定义备份文件前缀


-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)


-l, --links 保留软链结


-L, --copy-links 想对待常规文件一样处理软链结


--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结


--safe-links 忽略指向SRC路径目录树以外的链结


-H, --hard-links 保留硬链结


-p, --perms 保持文件权限


-o, --owner 保持文件属主信息


-g, --group 保持文件属组信息


-D, --devices 保持设备文件信息


-t, --times 保持文件时间信息


-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间


-n, --dry-run现实哪些文件将被传输


-W, --whole-file 拷贝文件，不进行增量检测


-x, --one-file-system 不要跨越文件系统边界


-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节


-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步


--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息


-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件


--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件


--delete 删除那些DST中SRC没有的文件


--delete-excluded 同样删除接收端那些被该选项指定排除的文件


--delete-after 传输结束以后再删除


--ignore-errors 及时出现IO错误也进行删除


--max-delete=NUM 最多删除NUM个文件


--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输


--force 强制删除目录，即使不为空


--numeric-ids 不将数字的用户和组ID匹配为用户名和组名


--timeout=TIME IP超时时间，单位为秒


-I, --ignore-times 不跳过那些有同样的时间和长度的文件


--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间


--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0


-T --temp-dir=DIR 在DIR中创建临时文件


--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份


-P 等同于 --partial


--progress 显示备份过程


-z, --compress 对备份的文件在传输时进行压缩处理


--exclude=PATTERN 指定排除不需要传输的文件模式


--include=PATTERN 指定不排除而需要传输的文件模式


--exclude-from=FILE 排除FILE中指定模式的文件


--include-from=FILE 不排除FILE指定模式匹配的文件


--version 打印版本信息


--address 绑定到特定的地址


--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件


--port=PORT 指定其他的rsync服务端口


--blocking-io 对远程shell使用阻塞IO


-stats 给出某些文件的传输状态


--progress 在传输时现实传输过程


--log-format=formAT 指定日志文件格式


--password-file=FILE 从FILE中得到密码


--bwlimit=KBPS 限制I/O带宽，KBytes per second


-h, --help 显示帮助信息