rsync远程同步+inotify监控

目录

一，Rsync

1，rsync介绍

2，rsync同步方式

3，rsync工作场景

rsync同步源

4，配置rsync源

5，常用的rsync命令

6，配置源的两种表达方式

二，rsnyc实验

1，本地复制

 2，异地复制

2，rsync服务器配置

 3，修改配置文件

 4，rsync客户端配置

4.1 普通同步

4.2，免密同步

 4.3 --delete选项的用法

三，inotify简介

1，inotify介绍

2，rsync+inotify实现配置

2.1 rsync服务器配置

 2.2 client段配置

 四，总结

---

一，Rsync

1，rsync介绍

rsync（Remote sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增加备份，并且保证链接和权限，且采用优化同步算法，传输前执行压缩，因此非常适合异地备份，镜像服务器等应用。

rsync是一款开源的，快速的，多功能的，可实现全量及增量的本地或远程数据同步备份的优秀工具，并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

在远程同步任务中，负责发起rsync同步操作的客户机称为发起段，而负责响应来着客户机的rsync同步操作的服务器称为同步源，在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

Rsync 是 Linux 系统下的数据镜像备份工具，使用快速增量备份工具 Remote Sync 可以远程同步， 可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法， 传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制，或者与其他 SSH、rsync 主机同步，rsync监听端口:873、rsync运行模式:C/S

2，rsync同步方式

1，全量备份：把原有的数据全部传输，把原来的文件和新的文件一起统一传输，全量复制，效率低下

2，增量备份：在传输数据之前通过一些算法通过你有的数据和我有的数据之间的差异性，把不一样的数据通过网络传输，增量复制，效率高

3，rsync工作场景

• 两台服务器之间数据同步
• 把所以的客户端服务器数据同步到备份服务器，生产场景集群架构服务器备份方案
• rsync结合inotify的功能做实时的数据同步

rsync同步源

rsync同步源：指的就是备份操作的远程服务器，也称备份源。

4，配置rsync源

基本思路

建立rsync.com配置文件，独立的账户文件

启用rsync的--daemon（守护进程）模式

配置文件/etc/rsync/rsyncd.conf

认证配置auth users，secrets file，不加则为匿名

独立的账号文件

• 文件位置可在配置文件中定义
• 格式：用户名：密码
• 每一行一个用户记录
• 独立的账号数据，不依赖系统账号

启动rsync服务

通过-daemon堵在提供服务，rsync-daemon

执行kill（cat/var/run/rsyncd.pid）关闭服务

5，常用的rsync命令

命令使用语法
rsync  选项  原始位置  目标位置

选项	功能
-a	归档模式，递归并保留对象属性，等同于-rlptgoD
-v	显示同步过程信息
-z	在传输过程中进行压缩
-H	保留硬链接文件
-A	保留ACL属性信息
-delete	删除目标位置有，而同步源中没有的文件
-checksum	根据对象的效验和来决定是否跳过文件

6，配置源的两种表达方式

格式一

用户名@主机地址：：共享模块名  本地目录


例如：rsnyc -avz backuper@192.168.135.196：：wwwroot /data
表示将192.168.135.196同步源的wwwroot模块中定义的文件同步到本地的/data目录中

格式二

rsync://用户名@主机地址/共享模块名 本地目录

例如：rsync -avz rsync://cxk@192.168.135.196/wwwroot /root
#意思与上面一样，写法不同

二，rsnyc实验

1，本地复制

rsync -avz www /opt/ls




rsync -avz www/  opt/ls

 2，异地复制

1，配置环境

主机名	ip地址	操作系统
rsync（同步源）	192.168.135.195	centos7
client（客户端）	192.168.135.196	centos7

2，rsync服务器配置

关闭防火墙，核心防护，检查下载更新rsync服务

systemctl stop firewall
systemctl disbale firewalld
setenforce 0

rpm -q rsync
yum -y install rsync

 

 3，修改配置文件

vim /etc/rsyncd.conf

uid = root                      #用户id
gid = root                      #组id
use chroot = yes                #开启，禁锢 目录                               
address = 192.168.135.195        #监听的地址
port 873                          #监听的·端口                             
log file = /var/log/rsyncd.log    #日志文件位置   
pid file = /var/run/rsyncd.pid    #pid位置  
hosts allow = 192.168.135.0/24    #允许访问的主机或者网段
[wwwroot]                         #共享模块名称                 
path = /var/www/html               #共享的路径          
comment = Document Root of www.lic.com    #默认
read only = yes                         #是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z   #对这种格式的文件不再压缩      
auth users = cxk                                              #授权的用户
secrets file = /etc/rsyncd_users.db                        # 密码文件的位置

 设置密码文件，并开启rsync服务

vim /etc/rsyncd_users.db
cxk：kya123
 
chmod 600 /etc/rsyncd_users.db
 
rsync --daemon
netstat -natp | grep rsync

-------------------------------
如果要关闭服务可以使用以下命令
kill $(cat /var/run/rsync.pid)

 创建共享文件，也就是源文件

#mkdir -p /var/www/html/
#chmod +r /var/www/html/
ll /var/www/html/

ll -d /var/www/html/
drwxr-xr-x. 2 root root 6 3月  24 2022 /var/www/html/
cd /var/www/html/

echo "jiesizzz" > cxk.txt
echo "zhaoxingzzz" > wyf.txt

 4，rsync客户端配置

4.1 普通同步

[root@redis196 abc]#rsync -avz cxk@192.168.135.195::wwwroot /mnt/
输入密码

4.2，免密同步

要先把前面同步的删除掉
vim /etc/server.pass
kya123

chmod 600 /etc/server.pass 
rsync -avz --password-file=/etc/server.pass cxk@192.168.135.195::wwwroot /mnt/
receiving incremental file list

 4.3 --delete选项的用法

rsync -avz  --delete --password-file=/etc/server.pass cxk@192.168.135.195::wwwroot /mnt/

三，inotify简介

1，inotify介绍

可监控文件系统的变动情况，并作出通知响应

可以调整inotify内核参数（优）

vim /etc/sysctl.conf（内核参数文件）
max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

#命令工具
inotifywait     #用于持续监控，时实输出结果
inotifywatch    #用于短期监控，任务完成后再输出结果

常用选项

选项	功能
-m	持续监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
move	移动
delete	删除

2，rsync+inotify实现配置

2.1 rsync服务器配置

vim /etc/rsyncd.conf
read only = no

kill (cat /var/run/rsyncd.pid)
rsync --daemon
netstat -natp |grep rsync

 修改内核文件（一个优化操作）

vim /etc/sysctl.conf

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

 2.2 client段配置

 

 

 编写触发同步脚本

脚本的目的就是时实监控、时实同步的功能

vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /mnt"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /mnt/ kya@192.168.135.195::wwwroot"
 
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done

#脚本解释
先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化
再定义一个变量为rsync同步，将/abc中的目录中的信息同步到rsync服务器中的指定目录
再编写一个while循环，先执行监控变量，再执行while循环，
循环内容为，读取目录事件文件，如果rsync进程同步操作不存在，则执行同步操作的变量。

 

chmod +x /opt/inotify.sh
./inotify.sh

---------------#加入自启动-----------------------
chmod +x /etc/rc.d/rc.local
echo "/opt/inotify.sh" >>/etc/rc.d/rc.local

 验证

数据发生了更新，就会同步

 

 

 使用 sh -x 加上执行脚本，观察执行过程

 四，总结

优点

• 可以时实

缺点

• 带宽特别充裕的情况下，rsync同步的速率比scp要慢

• 同步百万级数据，参数严格要按要求去写，不然可能导致同步失败。