一 rsyn介绍
rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整
个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非
常适用于异地备份、镜像服务器等应用。
在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync
同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位
置具有读取权限。
1 Rsync 是 Linux 系统下的数据镜像备份工具,使用快速增量备份工具 Remote Sync 可以远程同
步, 可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,且采用优化
的同步算法, 传输前执行压缩,因此非常适合用于架构集中式备份或异地备份等应用。
2 Rsync支持本地复制,或者与其他 SSH、rsync 主机同步
3 端口号:873
4官方网站:https://rsync.samba.org/
1 同步方式
(1)完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地。
(2)差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中
不清除存档属性)。
(3)增量备份:备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就
备份,他会清除存档属性)
2 备份的方式
1 发起端:负责rsync 同步操作的客户机叫做发起端,通知服务器我要备份你的数据
2 备份源:负责响应来自客户机rsync 同步操作的服务器叫做备份源,需要备份的服务器
3 服务端:运行rsyncd服务,一般来说,需要备份的服务器
4 客户端:存放备份数据
3 常用Rsync命令
基本格式:
rsync [选项] 原始位置 目标位置
常用选项:
-r:递归模式,包含目录及子目录中的所有文件。
-l:对于符号链接文件仍然复制为符号链接文件。
-v:显示同步过程的详细(verbose)信息。
-z:在传输文件时进行压缩(compress)。
-a:归档模式,保留文件的权限、属性等信息,等同于组合选项“-rlptgoD”。
-p:保留文件的权限标记。
-t:保留文件的时间标记。
-g:保留文件的属组标记(仅超级用户使用)。
-o:保留文件的属主标记(仅超级用户使用)。
-H:保留硬连接文件。
-A:保留 ACL 属性信息。
-D:保留设备文件及其他特殊文件。
--delete:删除目标位置有而原始位置没有的文件。
--checksum:根据校验和(而不是文件大小、修改时间)来决定是否跳过文件。
配置rsync源服务器
在远程同步任务中,负责发起 rsync 同步操作的客户机称为发起端,而负责响应来自客 户机的 rsync 同步操作的服务器称为同步源。
在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限,
如图下图所示 (同步源也叫备份源、响应端 客户端一般存放备份的数据
5 实操:本地复制
[root@mcb-11-8 ~]#cd /home/
[root@mcb-11-8 home]#ls
mg
[root@mcb-11-8 home]#mkdir mcb
[root@mcb-11-8 home]#cd mcb
[root@mcb-11-8 mcb]#pwd
/home/mcb
[root@mcb-11-8 mcb]#echo 'Job love play girls' > Job.txt
[root@mcb-11-8 mcb]#ls
Job.txt
[root@mcb-11-8 mcb]#cat Job.txt
Job love play girls
[root@mcb-11-8 mcb]#cd /opt
[root@mcb-11-8 opt]#ls
rh
[root@mcb-11-8 opt]#rsync -avz /home/mcb/ /opt/ #将/home/mcb/Job.txt 复制到/opt
sending incremental file list
./
Job.txt
sent 105 bytes received 34 bytes 278.00 bytes/sec
total size is 20 speedup is 0.14
[root@mcb-11-8 opt]#ls
Job.txt rh
6 同步源的两种方式:
格式一:
用户名@主机地址::共享模块名
rsync -avz backuper@192.168.10.100::wwwroot /opt/
格式二:
rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.10.100/wwwroot /opt/
二 实操:实时同步rsync(下行同步)
准备环境
systemctl stop firewalld ##关闭防火墙
setenforce 0 ##关闭核心防护
实验环境
服务端:192.168.11.3
客户端:192.168.11.8
①配置服务器
cp /etc/rsyncd.conf /etc/rsyncd.conf.bak ##先将rsync的配置文件进行备份,以防万一
vim /etc/rsyncd.conf ##对vim /etc/rsyncd.conf进行配置
uid = root ##第7行, 用户
gid = root ##第8行, 组
use chroot = yes ##第9行, 禁锢在源目录
port 873 ##第10行, 监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看
pid file = /var/run/rsyncd.pid ##第12行, 存放进程 ID 的文件位置
log file = /var/log/rsyncd.log ##第13行, 日志文件位置
host allow = 192.168.11.0/24 ##第18行, 许访问的客户机地址
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 ##第19行, 同步时不再压缩的文件类型
[wwwroot] ##第21行, 共享模块名称
path = /var/www/html ##第22行, 源目录的实际路径
comment = Document root of www.njzh.com ##第23行,
read only = yes ##第24行, 是否为只读
auth users = backuper ##第25行, 授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db ##第26行, 存放账户信息的数据文件
5 # configuration example:
6 $
7 uid = root$
8 gid = root$
9 use chroot = yes$
10 port=873$
11 # max connections = 4$
12 pid file = /var/run/rsyncd.pid$
13 exclude = /var/log/rsyncd.log$
14 # transfer logging = yes$
15 # timeout = 900$
16 # ignore nonreadable = yes$
17 hosts allow = 192.168.11.0/24$
18 dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2$
19 [wwwroot]$ 20 path = /var/www/html$
21 comment = Document Root of www.kgc.com$
22 read only = yes$ 23 auth users = backuper$
24 secrets file = /etc/rsyncd_users.db
vim /etc/rsyncd_users.db ##配置存放账户信息的数据文件
mcb:123 ##用户及密码
chmod 600 /etc/rsyncd_users.db ##给users.db添加权限
mkdir /var/www/html -p ##递归创建文件夹
chmod +r /var/www/html/ ##给文件夹赋予读的权限
ls -ld /var/www/html/ ##查看权限
drwxr-xr-x 2 root root 6 4月 8 00:48 /var/www/html/
②启动rsync服务
[root@mcb-11-3 ~]# chmod 600 /etc/rsyncd_users.db
[root@mcb-11-3 ~]# mkdir /var/www/html -p
[root@mcb-11-3 ~]# chmod +r /var/www/html/
[root@mcb-11-3 ~]# ls -ld /var/www/html/
drwxr-xr-x. 2 root root 6 4月 7 21:12 /var/www/html/
[root@mcb-11-3 ~]# rsync --daemon
[root@mcb-11-3 ~]# netstat -antulp | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 7332/rsync
tcp6 0 0 :::873 :::* LISTEN 7332/rsync
[root@mcb-11-3 ~]# cat /var/run/rsyncd.pid
7332
3.关闭rsync服务 ,在这里不起作用
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
[root@mcb-11-3 ~]# kill $(cat /var/run/rsyncd.pid)
[root@mcb-11-3 ~]# rm -rf /var/run/rsyncd.pid
③同步数据
检测
④做免交互
检测:
⑤ --delet的区别
1.不加 --delete
2.加 --delete
三 下行同步:rsync+inotify 实现实时同步
发起端(客户端)配置 rsync+inotify
使用inotify通知接口,可以用来监控文件系统的各种变化情况,如文件存取、删除、移动、修改
等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时
作出响应。
将inotify机制与rsync工具相结合,可以实现触发式备份(实时同步),即只要原始位置的文档发生
变化,则立即启动增量备份操作;否则处于静默等待状态。这样,就避免了按固定周期备份时存在
的延迟性、周期过密等问题。
因为 inotify 通知机制由 Linux 内核提供,因此主要做本机监控,在触发式备份中应用时更适合上行同步。
客户端:192.168.11.3,创建备份目录,接受备份数据,/data
应用服务端:192.168.11.8,inotify实时监控,触发rsync的命令
[root@mcb-11-8 ~]#vim /etc/rsyncd.conf
①修改rsync客户机配置
[root@mcb-11-3 ~]# rsync --daemon
[root@mcb-11-3 ~]# netstat -anpt | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 7577/rsync
tcp6 0 0 :::873 :::* LISTEN 7577/rsync
[root@mcb-11-3 ~]# rsync --daemon
[root@mcb-11-3 run]# kill 7577
[root@mcb-11-3 run]# rsync --daemon
[root@mcb-11-3 run]# netstat -anpt | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 9334/rsync
tcp6 0 0 :::873 :::* LISTEN 9334/rsync
[root@mcb-11-3 run]# cat /var/run/rsyncd.pid
9334
② 安装 inotify-tools 工具
③调整客户端inotify内核参数
[root@mcb-11-8 ~]#mkdir /var/www/html/kgc/ -p
[root@mcb-11-8 ~]#ls -ld /var/www/html/kgc/ -p
drwxr-xr-x 2 root root 6 4月 8 15:29 /var/www/html/kgc//
[root@mcb-11-8 ~]#cd /opt
[root@mcb-11-8 opt]#ls
Job.txt mcb_backup rh
[root@mcb-11-8 opt]#rz -E
rz waiting to receive.
[root@mcb-11-8 opt]#ls
inotify-tools-3.14.tar.gz mcb_backup
Job.txt rh
[root@mcb-11-8 opt]#tar zxvf inotify-tools-3.14.tar.gz
inotify-tools-3.14/
[root@mcb-11-8 opt]#cd inotify-tools-3.14/
[root@mcb-11-8 inotify-tools-3.14]#ls
aclocal.m4 config.guess configure depcomp libinotifytools Makefile.in NEWS
AUTHORS config.h.in configure.ac INSTALL ltmain.sh man README
ChangeLog config.sub COPYING install-sh Makefile.am missing src
[root@mcb-11-8 inotify-tools-3.14]#cat /proc/sys/fs/inotify/max_queued_events
16384
[root@mcb-11-8 inotify-tools-3.14]#cat /proc/sys/fs/inotify/max_user_instances
128
[root@mcb-11-8 inotify-tools-3.14]#cat /proc/sys/fs/inotify/max_user_watches
8192
[root@mcb-11-8 inotify-tools-3.14]#cat /proc/sys/fs/inotify/max_queued_events
16384
[root@mcb-11-8 inotify-tools-3.14]#cat /proc/sys/fs/inotify/max_user_instances
128
[root@mcb-11-8 inotify-tools-3.14]#cat /proc/sys/fs/inotify/max_user_watches
8192
[root@mcb-11-8 inotify-tools-3.14]#vim /etc/rsyncd.conf
[root@mcb-11-8 inotify-tools-3.14]#vim /etc/sysctl.conf
[root@mcb-11-8 inotify-tools-3.14]#sysctl -p
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1084
fs.inotify.max_user_watches = 1078546
[root@mcb-11-8 inotify-tools-3.14]#yum install -y gcc gcc-c++ make
[root@mcb-11-8 inotify-tools-3.14]# ./configure
[root@mcb-11-8 inotify-tools-3.14]#make -j 4 && make install
④监视同步目录及其子目录中的文件
再打开11-8一个端口
查看一下
再查看
⑤ 编写触发式同步脚本
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ mcb@192.168.11.3::ky35"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
##while判断是否接收到监控记录
do
if [ $(pgrep rsync | wc -l) -le 0 ] ; then
$RSYNC_CMD
fi
done