rsync下行同步+inotify实时同步部署

rsync下行同步+inotify实时同步部署

一、rsync简介

• rsync 是 Linux 系统下的数据镜像备份工具
• 使用快速增量备份工具 Remote Sync 可以远程同步，支持本地复制，或者与其他 SSH、rsync 主机同步
• 官方网站：https://rsync.samba.org/

1、rsync特性

• 可以镜像保存整个目录和文件系统
• 可以很容易做到保持原来文件的权限、时间、软硬链接等等
• 无须特殊权限即可安装
• 可以实现增量同步，即可同步发送变化的数据，因此数据传输效率很高。
• 快速：
  • 第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件
  • rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
• 安全：
  • 可以使用 scp、ssh 等方式来传输文件
  • 当然也可以通过直接的 socket 连接
  • 支持匿名传输，以方便进行网站镜像

2、rsync同步源

• 在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源
• 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限
• 在上行同步中（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限

3、rsync工作场景

• 两台服务器之间数据同步。
• 把所有客户端服务器数据同步到备份服务器，生产场景集群架构服务器备份方案。
• rsync结合inotify的功能做实时的数据同步。

二、rsync部署思路和命令

1、基本思路

• 建立rsyncd.conf配置文件、独立的账号文件
• 启用rsync的 --daemon模式

2、配置文件rsyncd.conf

• 认证配置auth users、secrets file，不加则为匿名

3、独立的账号文件

• 用户名:密码
• 每行一个用户记录
• 独立的账号数据，不依赖系统账号

4、启用rsync服务

• 通过 --daemon独自提供服务，rsync --daemon
• 执行kill $(cat /var/run/rsyncd.pid)关闭服务

rsync命令

• 命令使用语法

rsync 【选项】原始位置 目标位置

• 常用选项

选项	说明
-a	归档模式，递归并保留对象属性，等同于-rlptgoD
-v	显示同步过程的详细信息
-z	在传输时进行压缩
-b	当有变化时，对目录目录中的旧版文件进行备份
––backup-dir=DIR	与-b结合使用，讲备份的文件存放到DIR目录中
-l	保留符号链接文件
-H	保留硬链接文件
-p	保留文件权限
-t	保留文件时间信息
-g	保留文件属组信息
-o	保留文件属主信息
- -delete	删除目标位置有而原始位置没有的文件
- -checksum	根据对象的校验和来决定是否跳过文件
––password-file=FILE	从 FILE 中读取口令，以避免在终端上输入口令，通常在 cron 中连接 rsync 服务器时使用

更多详细选项见：https://wenku.baidu.com/view/6530ba015aeef8c75fbfc77da26925c52cc59120.html

配置源的两种表达式

方式一：
    用户名@主机地址::共享模块名
方式二：
    rsync://用户名@主机地址/共享模块名

三、inotify简介

什么是inotify？

inotify是Linux内核提供的一个文件系统变化通知机制，从2.6.13版本的内核开始提供，它可以高效地实时跟踪 Linux 文件系统的变化。

inotify能做什么？

可以监控文件系统的变动情况，并做出通知响应

1、inotify的使用调整inotify内核参数

• /etc/sysctl.conf(内核参数配置文件)

max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

• inotifywait：用于持续监控，实时输出结果

• inotifywatch：用于短期监控，任务完成后再输出结果

选项	说明
-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
move	移动
delete	删除

四、配置Rsync下行同步

服务配置表：

主机	主机名	IP 地址	主要服务
客户端	serevertest1	192.168.10.11	rsync
备份服务器	serevertest2	192.168.10.12	rsync

1、关闭防火墙和下载rsync

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制

yum install -y rsync
#rsync系统一般已默认安装

2、配置rsync配置

vim /etc/rsyncd.conf
#编辑rsync配置文件
uid = root											#用户id
gid = root											#组id
use chroot = yes									#开启，禁锢在源目录
address = 192.168.10.11						    	#监听地址
port 873											#默认端口号为873
log file = /var/log/rsyncd.log						#日志文件存放位置
pid file = /var/run/rsyncd.pid						#存放进程id的文件位置
hosts allow = 192.168.10.0/24						#允许访问的主机网段
[wwwroot]        									#共享模块的名称
path = /home/test							     	#源目录路径
read only = yes										#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型
auth users = test									#授权用户，多个账户以空格隔开
secrets file = /etc/rsyncd_users.db					#存放账号信息的数据文件，一行一个
vim /etc/rsyncd_users.db
test:123123
#编辑用户账号文件，固定格式为[名称:密码]，一行一个

chmod 600 /etc/rsyncd_users.db
#官方要求，最好只是赋权600！

rsync --daemon
#开启服务
netstat -natp | grep rsync
#检测端口号，确认服务是否成功开启

3、配置下行同步

cd /opt
mkdir test
chmod 777 test

vim /etc/server.pass
123123
#编辑免交互密钥文件，第一行为密码


chmod 600 /etc/server.pass
#给密钥文件赋权600

rsync -az --delete --password-file=/etc/server.pass test@192.168.10.11::wwwroot /opt/test
#rsync，使用密钥文件/etc/server/pass对应xixi用户，IP地址为192.168.126.11的共享模块文件进行压缩，并归档同步至当前服务器的/opt/xcf1目录下，同时删除差异内容，保持一致性

cd /opt
ls
#查看下行同步是否成功

五、inotify+rsync配置

主机	主机名	IP 地址	主要服务
备份服务器	serevertest1	192.168.10.11	rsync、MySQL
客户端	serevertest2	192.168.10.12	MySQL、rsync、inotify-tools-3.14.tar.gz

1、关闭只读模式并为共享目录赋权

uid = root
gid = root
chroot = yes
address = 192.168.10.11
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.10.0/24
[wwwroot]
path = /usr/local/mysql/data
read only = no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = test
secrets file = /etc/rsyncd_users.db

chmod 777 /usr/local/mysql/data

2、优化客户端内核参数

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances 
cat /proc/sys/fs/inotify/max_user_watches 
#查看当前默认inotify的内核参数
#依次为监控事件队列、最多监控实例与每个实例最多监控的文件

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
#优化内核参数


sysctl -p
#加载内核参数配置文件使其生效

3、按装inotify-tools

yum install -y gcc gcc-c++ 

cd /opt
#将软件包传至该目录下
tar zxf inotify-tools-3.14.tar.gz

cd /opt/inotify-tools-3.14/
./configure
make -j 4 && make install

4、编写自动监控同步脚本

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /usr/local/mysql/data/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /usr/local/mysql/data/ test@192.168.10.11::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done
----详解----
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /usr/local/mysql/data/"
#INOTIFY_CMD变量：持续监控 /opt/xcf1 目录中的创建，删除，移动，修改，改变时间的操作
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass  /usr/local/mysql/data/ test@192.168.10.11::wwwroot"
#RSYNC_CMD变量：使 test 用户，/etc/server.pass 密钥文件，将/usr/local/mysql/data/ 目录下的文件进行压缩，归档，保留硬链接文件同步至 192.168.10.11 的共享模块定义的目录 /usr/local/mysql/data/ 下，并删除差异性内容，保持一致性

$INOTIFY_CMD | while read DIRECTORY EVENT FILE		#持续监控...
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then		#如果服务并未启动，则执行同步
        $RSYNC_CMD
	fi
done

通过两个mysql同步data文件内容，实现数据库的冷备份。

数据插入表后，备份服务器的数据没法打开，会报错（“ERROR 1146 (42S02): Table ‘test.test’ doesn’t exist”），需要重启mysql服务即可。