rsync+inotify远程同步

目录

前言

一、rsync服务器

1.Rsync 介绍

2.Rsync 同步方式

3.rsync命令

4.配置源的方法

二、实验部署

1.实验准备

2.基础环境配置

3.配置rsync源服务器

4.修改/etc/rsyncd.conf配置文件

5.测试远程同步

三、rsync结合inotify实时同步

1.inotify简介

2.inotifywait(持续监控并实时输出监控结果的命令)

3.部署实验 rsync+inotify


前言

rsync远程同步是一款主要为快速增量备份的工具;简单来说就是复制,可以用于本地的复制,也可以用户跨主机(ssh/rsync主机同步)之间的复制;官网:https://rsync.samba.org。

一、rsync服务器

1.Rsync 介绍

(1)rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。

(2)rsync软件适用于unix/linux/windows等多种操作系统平台。

(3)rsync是一个快速和非常方便的文件复制工具。它能本地复制,远程复制,或者远程守护进程方式复制,它提供了大量的参数来控制其行为的各个方面,并且允许非常灵活的方式来实现文件的传输复制。

(4)以其delta-transfer算法闻名。

(5)rsync监听端口:873

(6)rsync运行模式:C/S

2.Rsync 同步方式

全量备份

① 原有的数据全部传送

② 把原来的文件和新的文件一起统一传送

③ 全量复制,效率低

增量备份

① 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比,把不一样的数据通过网络传输

② 增量复制,效率高

3.rsync命令

格式:rsync [选项]  原始位置   目标位置

常用选项说明
-r递归模式,包含目录及子目录中的所有文件
-l对于符号链接文件仍然复制为符号链接文件
-v显示同步过程的详细信息
-z在传输文件时进行压缩
-a归档模式,递归并保留对象属性,等同于-rlptgoD
-p保留文件的权限标记
-t保留文件的时间标记
-g保留文件的属组标记(仅超级用户使用)
-o保留文件的属主标记(仅超级用户使用)
-H保留硬链接文件
-A保留ACL属性信息
-D保留设备文件及其他特殊文件
- -delete删除目标位置有而原始位置没有的文件
- -checksum根据对象的校验和来决定是否跳过文件

4.配置源的方法

格式一:

用户名@主机地址::共享模块名
rsync -avz backuper@192.168.150.10::wwwroot /root

格式二:

rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.150.10/wwwroot /root

二、实验部署

1.实验准备

主机ip地址
rsync192.168.150.10
client192.168.150.100

2.基础环境配置

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0

3.配置rsync源服务器

两台服务器都需要配置

[root@rsync ~]# yum -y install rsync

4.修改/etc/rsyncd.conf配置文件

[root@rsync ~]# vim /etc/rsyncd.conf         #添加以下配置

uid = nobody					             #root
gid = nobody				                 #root
use chroot = yes		                     #禁锢在源目录                                                
address = 192.168.150.10	                 #监听地址
port 873         #监听端口 tcp/udp 873,可通过 cat /etc/services | grep rsync 查看                                           
log file = /var/log/rsyncd.log	             #日志文件位置                  
pid file = /var/run/rsyncd.pid	             #存放进程ID的文件位置                  
hosts allow = 192.168.150.0/24	             #允许访问的客户机地址 (上行同步中的访问策略)
[wwwroot]   					             #第一个共享模块                                                           
path = /var/www/html     		             #源目录的实际路径                               
comment = Document Root of www.ljm.com	
read only = yes             	             #是否为只读                                     
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z  	#同步时不再压缩的文件类型      
auth users = backuper                        #授权账户,多个账号以空格分隔                                 
secrets file = /etc/rsyncd_users.db          #存放账户信息的数据文件

为备份账户创建数据文件

[root@rsync ~]# vim /etc/user.db             #为备份账户创建数据文件
backuper:abc123	                             #无需建立同名系统用户

[root@rsync ~]# chmod 600 /etc/user.db

保证所有用户对源目录 /var/www/html 都有读的权限

[root@rsync ~]# mkdir -p /var/www/html
[root@rsync ~]# chmod +r /var/www/html/
[root@rsync ~]# ls -ld /var/www/html/
drwxr-xr-x. 2 root root 6 11月 14 19:56 /var/www/html/

启动 rsync 服务程序

[root@rsync ~]# rsync --daemon
[root@rsync ~]# netstat -natp | grep rsync
tcp        0      0 192.168.150.10:873      0.0.0.0:*               LISTEN      77470/rsync     

5.测试远程同步

rsync服务端

[root@rsync ~]# cd /var/www/html
[root@rsync html]# echo "hello world" >> test

client服务端(交互性查看)

[root@client ~]# cd /opt/
[root@client opt]# mkdir abc
[root@client opt]# rsync -avz backuper@192.168.150.10::wwwroot /abc  
Password: 
receiving incremental file list
created directory /abc
./
test

sent 46 bytes  received 122 bytes  10.84 bytes/sec
total size is 12  speedup is 0.07

[root@client abc]# cat test
hello world

client服务端(免交互性查看)

[root@client opt]# echo "abc123" > /etc/server.pass
[root@client opt]# chmod 600 /etc/server.pass
[root@client opt]# rsync -avz --password-file=/etc/server.pass backuper@192.168.150.10::wwwroot /abc
receiving incremental file list
./
test

sent 46 bytes  received 122 bytes  336.00 bytes/sec
total size is 12  speedup is 0.07

服务端删除test文件(此时客户端还保持之前同步test的文件)

实验要求是通过远程同步的方式删除掉客户端之前同步的数据

[root@client abc]# rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.150.10::wwwroot /abc
receiving incremental file list
deleting test
./

sent 27 bytes  received 47 bytes  7.05 bytes/sec
total size is 0  speedup is 0.00

三、rsync结合inotify实时同步

1.inotify简介

监控文件系统的变化状态并报告;辅助软件是inotify-tools

调整inotify内核参数(优化)/etc/sysctl.conf(内核参数配置文件)

参数含义
inotifywait用于持续监控,实时输出结果
inotifywatch用于短期监控,任务完成后再输出结果
max_queue_events监控事件队列大小
max_user_instances最多监控实例数
max_user_watches每个实例最多监控文件数

2.inotifywait(持续监控并实时输出监控结果的命令)

格式:inotifywait [参数]

常见参数

-m            持续进行监控
-r            递归监控所有子对象
-q            简化输出信息
-e            指定要监控哪些事件类型

3.部署实验 rsync+inotify

服务端修改rsync配置文件

[root@rsync ~]# vim /etc/rsyncd.conf
	uid = root		    #修改为root
	gid = root		    #修改为root
	[wwwroot]
	read only = no		#关闭只读,上行同步需要可写权限

[root@rsync ~]# kill 'cat /var/run/rsyncd.pid'
[root@rsync ~]# netstat -natp | grep rsync
[root@rsync ~]# rsync --daemon		          #启动rsync
[root@rsync ~]# netstat -natp | grep rsync    #验证是否开启
tcp        0      0 192.168.150.10:873      0.0.0.0:*               LISTEN      25929/rsync   

客户端修改inotify内核参数

[root@client ~]# vim /etc/sysctl.conf
...
	fs.inotify.max_queued_events = 32768		#监控时间队列,默认为16384
	fs.inotify.max_user_instances = 1024		#最多监控实例数,默认为128
	fs.inotify.max_user_watches = 1048576		#每个实例最多监控文件数,默认为8192
#当要监控的目录、文件数据量较多或者变化频繁时,建议加大参数值
[root@client ~]# sysctl -p		                #刷新生效

服务端安装 inotify-tools

[root@client ~]# yum -y install gcc gcc-c++
[root@client ~]# cd /opt
[root@client opt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt
[root@client opt]# cd /opt/inotify-tools-3.14/
[root@client inotify-tools-3.14]# ./configure
[root@client inotify-tools-3.14]# make && make install

执行“inotifywait”命令,然后在服务端向 /var/www/html 目录下添加文件、移动文件,跟踪屏幕输出结果

[root@client /]# inotifywait -mrq -e modify,create,move,delete /abc
...

此时在服务端在/abc目录下的所有操作都能被检测到

服务端编写触发同步脚本

[root@client ~]# vim /opt/inotify.sh
#!/bin/bash

	INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"
	RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.150.10::wwwroot/"
	$INOTIFY_CMD | while read DIRECTORY EVENT FILE 
	do
	if [ $(pgrep rsync | wc -l) -le 0 ]; then
	$RSYNC_CMD
	fi
	done

[root@client ~]# chmod +x /opt/inotify.sh
[root@client ~]# chmod +x /etc/rc.d/rc.local  #启动脚本
[root@client ~]# echo "/opt/inotify.sh" >> /etc/rc.d/rc.local
[root@client opt]# sh -x inotify.sh           #允许同步脚本

验证效果

在客户端的/abc目录下创建

[root@client ~]# cd /abc/
[root@client abc]# touch aaa

服务端查看

[root@rsync ~]# ls /var/www/html
aaa              #服务端同步了客户端的信息
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值