CentOS7通过lsyncd+rsync实现两台服务器数据实时同步备份

1、工具简介

        1.1、rsync   

        rsync（remote synchronize）是 Liunx/Unix 下的一个远程数据同步工具，它可通过 LAN/WAN 快速同步多台主机间的文件和目录。rsync 通过比较两边文件是否相同，不相同才进行更新。
        但是rsync无法知道“什么时候同步”，因为rsync只有执行同步命令的时候，才会去扫描文件判断哪些文件被修改了，只能建立一个定时任务，每隔一定的时间（比如5分钟，10分钟等等）去执行一次同步，这样虽然能同步，但却“不实时”。

        2.2、lsyncd     

        lsyncd实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果。它完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 -通过时间延迟或累计触发事件次数实现。

2、环境准备

        源服务器（需要备份数据的服务器）——只需要部署rsync（daemon模式）

        目标服务器（接收数据的服务器）——需要部署rsync和lsyncd

        可支持多个源服务器往一个目标同步

        也支持双向同步，就是把源端也当做一个目标端，按照目标端进行配置；然后目标也是一个源端，需要按照源端配置lsyncd

        所需离线安装包

3、目标服务器部署

        3.1、安装rsync

                方式一（在线）后续步骤以此为基础：

yum -y install rsync

                方式二（离线）：        

#先下载安装包https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
#将安装包放到你喜欢的文件夹
#进入该文件夹并解压安装
tar -zxvf rsync-3.1.2.tar.gz
cd rsync-3.1.2
./configure --prefix=/usr/local/rsync
make
make install

#启动
/usr/local/bin/rsync --daemon
#验证是否启动
ps -aux |grep rsync
root 59120 0.0 0.2 1460 972 ?? Ss 5:20PM 0:00.00 /usr/local/rsync/bin/rsync –daemon
#查看监听端口状态
netstat -an |grep 873
tcp4 0 0 *.873 *.* LISTEN
#查看日志
cat /var/log/rsyncd.log

        3.2、配置rsyncd.conf

#没有该文件，需手动创建
vi /etc/rsyncd.conf

#各参数具体含义可自行百度
log file = /var/log/rsyncd.log #日志路径
pidfile = /run/rsyncd.pid
lock file = /run/rsync.lock
secrets file = /etc/rsync.password #认证文件，连接的账号密码
[backup] #模块名称，有多个源服务端时就在下面复制整个模块
  path = /data/influxbackup/ #存储接收数据的路径
  comment = sync etc from client
  uid = root
  gid = root
  port = 873
  ignore errors
  use chroot = no
  read only = no
  list = no  
  max connections = 200
  timeout = 600
  auth users=root #认证用户，同认证文件里的
  hosts allow = 10.11.1.62 #允许链接的ip
  #hosts deny = x.x.x.x #不允许的ip

        3.3、创建备份目录

mkdir /data/influxbackup/

        3.4、创建账号密码

echo 'root:123456' > etc/rsync.password
#查看配置是否成功
cat etc/rsync.password
root:123456

        3.5、设置文件权限

chmod 600 /etc/rsync*
ll /etc/rsync*
-rw-------. 1 root root 880 Aug 13 14:54 /etc/rsyncd.conf
-rw-------. 1 root root  10 Aug 13 14:55 /etc/rsync.password

        3.6、启动服务

systemctl start rsyncd  #启动服务
systemctl status rsyncd #查看服务状态
systemctl enable rsyncd #设置开机启动
Created symlink from /etc/systemd/system/multi-user.target.wants/rsyncd.service to /usr/lib/systemd/system/rsyncd.service.

        3.7、关闭防火墙和selinux

#关闭防火墙
systemctl stop firewalld 
#关闭selinux
sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/sysconfig/selinux
#刷新配置，立即生效
setenforce 0

到此，目标服务器配置完成。

4、源服务器配置

        4.1、安装rsync，操作同上，只需要安装，不需要配置和启动

        4.2、配置认证文件

#指定密码，密码注意和上面的密码一致，用户可在命令中设置
echo "123456" > /etc/rsyncd.password
chmod 600 /etc/rsyncd.password #设置文件权限
ll /etc/rsyncd.password

        4.3、关闭防火墙和selinux，同3.7

        4.4、使用命令手动测试同步

#同步命令
rsync -avH --port 873 --progress --delete /root/soft/backuptest/ root@10.11.1.60::backup --password-file=/etc/rsyncd.password

#打印的信息
sending incremental file list
deleting 123 #删除文件也会目标服务器的删除

sent 70 bytes  received 27 bytes  194.00 bytes/sec
total size is 0  speedup is 0.00

                 出现以上结果代表rsync安装配置成功。

5、源服务器安装配置lsyncd

        5.1安装lsyncd

yum -y install lsyncd

如出现无法安装成功，则先安装epel-release

yum install -y epel-release

服务器没有外网可下载上面的离线安装包

        5.2 配置lsyncd.conf

vim /etc/lsyncd.conf

#具体参数含义可自行百度
settings {
    logfile = "/var/log/lsyncd/lsyncd.log",
    statusFile = "/var/log/lsyncd/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
    maxDelays = 5, #累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到。
    nodaemon = false,
}
sync { #如果有多台服务器需要同步，依次往下配置多个sync即可
    default.rsync,
    source = "/var/lib/influxdb/engine/", #监控的需要备份的目录
    target = "root@10.11.1.60::backup", 
    delete = true, #删除信息也同步
    delay = 15, #延迟15秒同步
    init = false, #false代表启动服务前的内容不会同步，如想设置为true，删掉即可，不要配置为true
    rsync = {
        binary = "/usr/bin/rsync", #rsync服务路径
        password_file = "/etc/rsyncd.password", #认证文件
        archive = true,
        compress = false,
        verbose = false,
        init=true
        _extra = {"--bwlimit=200", "--omit-link-times"}
    }
}

        5.3创建日志文件

mkdir /var/log/lsyncd/
touch /var/log/lsyncd/lsyncd.log
touch  /var/log/lsyncd/lsyncd.status
#设置权限
chmod 600 /var/log/lsyncd/lsyncd.log
chmod 600 /var/log/lsyncd/lsyncd.status

        5.4启动服务

systemctl start lsyncd
systemctl status lsyncd
# systemctl restart rsyncd 
systemctl enable lsyncd #开机启动

        5.5查看日志

Wed Sep 20 17:00:50 2023 Normal: --- Startup ---
Wed Sep 20 17:00:50 2023 Normal: recursive startup rsync: /var/lib/influxdb/engine/ -> root@10.11.1.60::backup/
Wed Sep 20 17:00:56 2023 Normal: Startup of /var/lib/influxdb/engine/ -> root@10.11.1.60::backup/ finished. 

参考文章