Rsync+sersync 实现数据实时同步

最新推荐文章于 2023-07-20 01:24:11 发布

@shitouji

最新推荐文章于 2023-07-20 01:24:11 发布

阅读量300

点赞数

分类专栏：自动化

原文链接：https://blog.csdn.net/a1779078902/article/details/96480004

版权

自动化专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、为什么要用rsync+sersync架构？
1、sersync是基于inotify开发的，类似于inotify-tools的工具。
2、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用 rsync同步的时候，只同步发生变化的文件或者目录。

二、rsync+inotify-tools与rsync+sersync架构的区别？
    1、rsync+inotify-tools
a、inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
b、rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低。
    2、rsync+sersync
a、sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；
      b、rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

三、准备两台机器

1、rsync服务器（备份端,目标机器） IP：192.168.1.100
sersync服务器（数据源,源机器） IP：192.168.1.200
2、yum install rsync -y #对两台机器安装rsync

四、配置服务器上的rsync
1、编辑配置文件rsyncd.conf

[root@backup /] vi /etc/rsyncd.conf  #如果原来有此文件，先进行备份

uid = rsync
#设置rsync运行权限为rsync
gid = rsync
#设置rsync运行权限为rsync
use chroot = no
#默认为true，修改为no，增加对目录文件软连接的备份
max connections = 200   #最大连接数
timeout = 300
#设置超时时间
pid file = /var/run/rsyncd.pid
#pid文件的存放位置
lock file = /var/run/rsyncd.lock
#支持max connections参数的锁文件
log file = /var/log/rsyncd.log
#日志文件位置，启动rsync后自动产生这个文件，无需提前创建
read only = false
#设置rsync服务端文件为读写权限
list = false
#不显示rsync服务端资源列表
hosts allow = 192.168.1.0/24
#允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 0.0.0.0/32
#禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
auth users = rsyncbak
#执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
secrets file = /etc/rsync.password 
#用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件
[backup] 
comment = backup
path = /backup/

2、添加用户及数据目录

[root@os etc]# useradd -s /no/login -M rsync
[root@os etc]# id rsync
uid=1008(rsync) gid=1008(rsync) groups=1008(rsync)
[root@os /]# mkdir /backup
[root@os /]# chown -R rsync.rsync /backup

3、创建远程验证用户

[root@os /]# vi /etc/rsync.password
rsyncbak:123abc#

4、启动服务

[root@os /]# systemctl start rsyncd
[root@os /]# systemctl enable rsyncd
[root@os /]# netstat -lntup | grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      116393/rsync        
tcp6       0      0 :::873                  :::*                    LISTEN      116393/rsync

五、搭建sersync
1、在sersync服务器上安装sersync

[root@os ~]# cd /usr/local/src
[root@os src]# wget http://down.whsir.com/downloads/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@os src]# tar xzvf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@os src]# cd GNU-Linux-x86/
[root@os GNU-Linux-x86]# cp confxml.xml{,.ori}

2、配置sersync

[root@os GNU-Linux-x86]# cat confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>

    <sersync>
        <localpath watch="/data">
            <remote ip="192.168.1.100" name="backup"/> #远程目标IP和模块,多个实例一样，换行更换IP和模块名即可
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
#认证部分
        <rsync>
            <commonParams params="-artuz"/>
            <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
#修改同步失败日志位置，并且每60分钟对失败的log进行重新同步
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
        <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
        <filter start="false">
            <include expression="(.*)\.php"/>
            <include expression="(.*)\.sh"/>
        </filter>
    </plugin>

    <plugin name="socket">
        <localpath watch="/opt/tongbu">
            <deshost ip="192.168.138.20" port="8009"/>
        </localpath>
    </plugin>
    <plugin name="refreshCDN">
        <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
            <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
            <sendurl base="http://pic.xoyo.com/cms"/>
            <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
        </localpath>
    </plugin>
</head>

3、创建本地目录用来测试数据并启动服务

[root@os GNU-Linux-x86]# mkdir /data
[root@os GNU-Linux-x86]# ./sersync2 -d   
[root@os GNU-Linux-x86]# ps aux |grep sersync2   #检查
root       1336  0.0  0.1  92324   780 ?        Ssl  04:09   0:00 ./sersync2 -d
root       1353  0.0  0.1  92324   748 ?        Ssl  04:11   0:00 ./sersync2 -d
root       1508  0.0  0.2 112660   972 pts/0    R+   09:49   0:00 grep --color=auto sersync2
[root@os~]# touch /etc/rsync.password      #创建认证密码
123abc#
[root@os~]# chmod 600 /etc/rsync.password

六、测试搭建的rsync

确保两台服务器上测试目录一样
[root@os~]# ll /data
total 0
 
[root@localhost ~]# ll /backup
total 0
创建测试数据
[root@os~]# touch /data/1.txt
[root@os~]# echo "123" > /data/1.txt

[root@os /]# rsync -avz /data/1.txt rsyncbak@192.168.1.100::backup --password-file=/etc/rsync.password

在rsync服务器上检查
[root@localhost ~]# ll /backup/
total 4
-rw------- 1 rsync rsync 4 Mar  1 13:43 1.txt
[root@localhost ~]# cat /backup/1.txt    #检查结果成功
123

创建修改测试
[root@os /]# touch /data/2.txt
[root@os /]# echo "test" > /data/2.txt 
[root@localhost ~]# ll /backup/       #检查结果成功
total 8
-rw------- 1 rsync rsync 4 Mar  1 13:43 1.txt
-rw------- 1 rsync rsync 5 Mar  1 14:02 2.txt
[root@localhost ~]# cat /backup/2.txt 
test

参考原文链接：https://blog.csdn.net/a1779078902/article/details/96480004

@shitouji

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Rsync+sersync 实现数据实时同步

一、为什么要用rsync+sersync架构？1、sersync是基于inotify开发的，类似于inotify-tools的工具。2、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录。二、rsync+inotify-tools与rsync+sersync...
复制链接

扫一扫

专栏目录