目录
2.inotifywait(持续监控并实时输出监控结果的命令)
前言
rsync远程同步是一款主要为快速增量备份的工具;简单来说就是复制,可以用于本地的复制,也可以用户跨主机(ssh/rsync主机同步)之间的复制;官网:https://rsync.samba.org。
一、rsync服务器
1.Rsync 介绍
(1)rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。
(2)rsync软件适用于unix/linux/windows等多种操作系统平台。
(3)rsync是一个快速和非常方便的文件复制工具。它能本地复制,远程复制,或者远程守护进程方式复制,它提供了大量的参数来控制其行为的各个方面,并且允许非常灵活的方式来实现文件的传输复制。
(4)以其delta-transfer算法闻名。
(5)rsync监听端口:873
(6)rsync运行模式:C/S
2.Rsync 同步方式
全量备份
① 原有的数据全部传送
② 把原来的文件和新的文件一起统一传送
③ 全量复制,效率低
增量备份
① 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比,把不一样的数据通过网络传输
② 增量复制,效率高
3.rsync命令
格式:rsync [选项] 原始位置 目标位置
常用选项 | 说明 |
---|---|
-r | 递归模式,包含目录及子目录中的所有文件 |
-l | 对于符号链接文件仍然复制为符号链接文件 |
-v | 显示同步过程的详细信息 |
-z | 在传输文件时进行压缩 |
-a | 归档模式,递归并保留对象属性,等同于-rlptgoD |
-p | 保留文件的权限标记 |
-t | 保留文件的时间标记 |
-g | 保留文件的属组标记(仅超级用户使用) |
-o | 保留文件的属主标记(仅超级用户使用) |
-H | 保留硬链接文件 |
-A | 保留ACL属性信息 |
-D | 保留设备文件及其他特殊文件 |
- -delete | 删除目标位置有而原始位置没有的文件 |
- -checksum | 根据对象的校验和来决定是否跳过文件 |
4.配置源的方法
格式一:
用户名@主机地址::共享模块名
rsync -avz backuper@192.168.150.10::wwwroot /root
格式二:
rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.150.10/wwwroot /root
二、实验部署
1.实验准备
主机 | ip地址 |
---|---|
rsync | 192.168.150.10 |
client | 192.168.150.100 |
2.基础环境配置
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
3.配置rsync源服务器
两台服务器都需要配置
[root@rsync ~]# yum -y install rsync
4.修改/etc/rsyncd.conf配置文件
[root@rsync ~]# vim /etc/rsyncd.conf #添加以下配置
uid = nobody #root
gid = nobody #root
use chroot = yes #禁锢在源目录
address = 192.168.150.10 #监听地址
port 873 #监听端口 tcp/udp 873,可通过 cat /etc/services | grep rsync 查看
log file = /var/log/rsyncd.log #日志文件位置
pid file = /var/run/rsyncd.pid #存放进程ID的文件位置
hosts allow = 192.168.150.0/24 #允许访问的客户机地址 (上行同步中的访问策略)
[wwwroot] #第一个共享模块
path = /var/www/html #源目录的实际路径
comment = Document Root of www.ljm.com
read only = yes #是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型
auth users = backuper #授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db #存放账户信息的数据文件
为备份账户创建数据文件
[root@rsync ~]# vim /etc/user.db #为备份账户创建数据文件
backuper:abc123 #无需建立同名系统用户
[root@rsync ~]# chmod 600 /etc/user.db
保证所有用户对源目录 /var/www/html 都有读的权限
[root@rsync ~]# mkdir -p /var/www/html
[root@rsync ~]# chmod +r /var/www/html/
[root@rsync ~]# ls -ld /var/www/html/
drwxr-xr-x. 2 root root 6 11月 14 19:56 /var/www/html/
启动 rsync 服务程序
[root@rsync ~]# rsync --daemon
[root@rsync ~]# netstat -natp | grep rsync
tcp 0 0 192.168.150.10:873 0.0.0.0:* LISTEN 77470/rsync
5.测试远程同步
rsync服务端
[root@rsync ~]# cd /var/www/html
[root@rsync html]# echo "hello world" >> test
client服务端(交互性查看)
[root@client ~]# cd /opt/
[root@client opt]# mkdir abc
[root@client opt]# rsync -avz backuper@192.168.150.10::wwwroot /abc
Password:
receiving incremental file list
created directory /abc
./
test
sent 46 bytes received 122 bytes 10.84 bytes/sec
total size is 12 speedup is 0.07
[root@client abc]# cat test
hello world
client服务端(免交互性查看)
[root@client opt]# echo "abc123" > /etc/server.pass
[root@client opt]# chmod 600 /etc/server.pass
[root@client opt]# rsync -avz --password-file=/etc/server.pass backuper@192.168.150.10::wwwroot /abc
receiving incremental file list
./
test
sent 46 bytes received 122 bytes 336.00 bytes/sec
total size is 12 speedup is 0.07
服务端删除test文件(此时客户端还保持之前同步test的文件)
实验要求是通过远程同步的方式删除掉客户端之前同步的数据
[root@client abc]# rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.150.10::wwwroot /abc
receiving incremental file list
deleting test
./
sent 27 bytes received 47 bytes 7.05 bytes/sec
total size is 0 speedup is 0.00
三、rsync结合inotify实时同步
1.inotify简介
监控文件系统的变化状态并报告;辅助软件是inotify-tools
调整inotify内核参数(优化)/etc/sysctl.conf(内核参数配置文件)
参数 | 含义 |
---|---|
inotifywait | 用于持续监控,实时输出结果 |
inotifywatch | 用于短期监控,任务完成后再输出结果 |
max_queue_events | 监控事件队列大小 |
max_user_instances | 最多监控实例数 |
max_user_watches | 每个实例最多监控文件数 |
2.inotifywait(持续监控并实时输出监控结果的命令)
格式:inotifywait [参数]
常见参数
-m 持续进行监控
-r 递归监控所有子对象
-q 简化输出信息
-e 指定要监控哪些事件类型
3.部署实验 rsync+inotify
服务端修改rsync配置文件
[root@rsync ~]# vim /etc/rsyncd.conf
uid = root #修改为root
gid = root #修改为root
[wwwroot]
read only = no #关闭只读,上行同步需要可写权限
[root@rsync ~]# kill 'cat /var/run/rsyncd.pid'
[root@rsync ~]# netstat -natp | grep rsync
[root@rsync ~]# rsync --daemon #启动rsync
[root@rsync ~]# netstat -natp | grep rsync #验证是否开启
tcp 0 0 192.168.150.10:873 0.0.0.0:* LISTEN 25929/rsync
客户端修改inotify内核参数
[root@client ~]# vim /etc/sysctl.conf
...
fs.inotify.max_queued_events = 32768 #监控时间队列,默认为16384
fs.inotify.max_user_instances = 1024 #最多监控实例数,默认为128
fs.inotify.max_user_watches = 1048576 #每个实例最多监控文件数,默认为8192
#当要监控的目录、文件数据量较多或者变化频繁时,建议加大参数值
[root@client ~]# sysctl -p #刷新生效
服务端安装 inotify-tools
[root@client ~]# yum -y install gcc gcc-c++
[root@client ~]# cd /opt
[root@client opt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt
[root@client opt]# cd /opt/inotify-tools-3.14/
[root@client inotify-tools-3.14]# ./configure
[root@client inotify-tools-3.14]# make && make install
执行“inotifywait”命令,然后在服务端向 /var/www/html 目录下添加文件、移动文件,跟踪屏幕输出结果
[root@client /]# inotifywait -mrq -e modify,create,move,delete /abc
...
此时在服务端在/abc目录下的所有操作都能被检测到
服务端编写触发同步脚本
[root@client ~]# vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"
RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.150.10::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -le 0 ]; then
$RSYNC_CMD
fi
done
[root@client ~]# chmod +x /opt/inotify.sh
[root@client ~]# chmod +x /etc/rc.d/rc.local #启动脚本
[root@client ~]# echo "/opt/inotify.sh" >> /etc/rc.d/rc.local
[root@client opt]# sh -x inotify.sh #允许同步脚本
验证效果
在客户端的/abc目录下创建
[root@client ~]# cd /abc/
[root@client abc]# touch aaa
服务端查看
[root@rsync ~]# ls /var/www/html
aaa #服务端同步了客户端的信息