远程文件同步工具--rsync

rsync

rsync同步简介

rsync是一款快速增量备份工具（Remote Sync）

特点

• 支持本地复制，或者其他SSH，rsync主机同步
• 它的监听端口是873

rsync同步方式

• 1.全量备份

原有的数据全部传送
把原来的文件和新的文件一起统一传送
**特点：**全量复制，效率低

• 2.增量备份

在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输
**特点：**增量复制，效率高

配置源的两种方法

1、用户名@主机地址::共享模块名
2、rsync://用户名@主机地址/共享模块名

rsync常用命令

常用选项	说明
-r		递归模式，包含目录及子目录中的所有文件
-l		对于符号链接文件仍然复制为符号链接文件
-v		显示同步过程的详细信息
-z		在传输文件时进行压缩
-a		归档模式，递归并保留对象属性，等同于-rlptgoD
-p		保留文件的权限标记
-t		保留文件的时间标记
-g		保留文件的属组标记（仅超级用户使用）
-o		保留文件的属主标记（仅超级用户使用）
-H		保留硬链接文件
-A		保留ACL属性信息
-D		保留设备文件及其他特殊文件
- - delete	删除目标位置有而原始位置没有的文件
- - checksum	根据对象的校验和来决定是否跳过文件

rsync实验

1.本地复制

[root@localhost ~]# mkdir /abc
[root@localhost ~]# mkdir /bcd
[root@localhost ~]# mkdir /cde
[root@localhost ~]# cd /abc
[root@localhost abc]# touch 1.txt
[root@localhost abc]# rsync -avz /abc/ /bcd	//将/abc的文件复制到/bcd目录下
sending incremental file list
./
1.txt

sent 103 bytes  received 38 bytes  282.00 bytes/sec
total size is 0  speedup is 0.00
[root@localhost abc]# cd /bcd
[root@localhost bcd]# ls
1.txt

[root@localhost bcd]# rsync -avz /abc /cde	//将/abc的文件连同/abc目录复制到/cde下
sending incremental file list
abc/
abc/1.txt

sent 115 bytes  received 39 bytes  308.00 bytes/sec
total size is 0  speedup is 0.00
[root@localhost bcd]# ls /cde
abc

[root@localhost abc]# cp -a /abc /opt    //cp命令无论后面接不接/都会复制目录本身
[root@localhost abc]# ls /opt/
abc  rh
[root@localhost abc]# rm -rf /opt/abc/
[root@localhost abc]# cp -a /abc/ /opt
[root@localhost abc]# ls /opt/
abc  rh

2.远程复制

实验环境

服务器	192.168.220.101
客户端	192.168.220.102

1.配置rsync服务器

[root@rsync ~]# yum -y install rsync
[root@rsync ~]# vim /etc/rsyncd.conf 
uid = root					#root
gid = root					#root
use chroot = yes				#禁锢在源目录                                                
address = 192.168.220.101	#监听地址
port 873                     	#监听端口 tcp/udp 873，可通过 cat /etc/services | grep rsync 查看                                           
log file = /var/log/rsyncd.log	#日志文件位置                  
pid file = /var/run/rsyncd.pid	#存放进程ID的文件位置                  
hosts allow = 192.168.220.0/24	#允许访问的客户机地址
[wwwroot]   					##第一个共享模块                                                           
path = /var/www/html     		#源目录的实际路径                               
comment = Document Root of www.ljm.com	
read only = yes             	#是否为只读                                     
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z  	#同步时不再压缩的文件类型      
auth users = backuper           #授权账户，多个账号以空格分隔                                 
secrets file = /etc/rsyncd_user.db #存放账户信息的数据文件

2.为备份账户创建数据文件

[root@rsync ~]# vim /etc/user.db
backuper:abc123

3.创建共享目录

[root@rsync ~]# mkdir -p /var/www/html
[root@rsync ~]# chmod +r /var/www/html/
[root@rsync ~]# ls -ld /var/www/html
drwxr-xr-x. 2 root root 6 8月  15 14:51 /var/www/html
[root@rsync ~]# echo "hello world" >> /var/www/html/1.txt
[root@rsync ~]# rsync --daemon	//启动rsync。
[root@rsync ~]# netstat -antp | grep rsync
tcp        0      0 192.168.220.101:873     0.0.0.0:*               LISTEN      80324/rsync 

4.客户端同步

[root@localhost ~]# mkdir /abc
[root@localhost ~]# cd /abc
[root@localhost abc]# rsync -avz backuper@192.168.220.101::wwwroot /abc/
Password: 		//abc123
receiving incremental file list
./
1.txt

sent 46 bytes  received 119 bytes  11.38 bytes/sec
total size is 12  speedup is 0.07
ls
[root@localhost abc]# ls
1.txt
[root@localhost abc]# cat 1.txt 
hello world

客户端免交互

[root@localhost abc]# echo "abc123" > /etc/server.pass
[root@localhost abc]# chmod 600 /etc/server.pass 
[root@localhost abc]# rm -rf 1.txt 
[root@localhost abc]# ls
[root@localhost abc]# rsync -avz --password-file=/etc/server.pass backuper@192.168.220.101::wwwroot /abc/
receiving incremental file list
./
1.txt

sent 46 bytes  received 119 bytes  15.71 bytes/sec
total size is 12  speedup is 0.07
[root@localhost abc]# cat 1.txt 
hello world

inotify

概述：可以监控文件系统的变动情况，并通过通知响应

1.inotify内核参数优化

inotifywait ：			#用于持续监控，实时输出结果
inotifywatch ：			#用于短期监控，任务完成后再出结果
max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

2.inotifywait参数选项

-m 持续进行监控
-r 递归监控所有子对象
-q 简化输出信息
-e 指定要监控那些事件类型

rsync+inotify实验

服务器

修改rsync配置文件

[root@rsync inotify-tools-3.14]# vim /etc/rsyncd.conf
read only = no		//关闭只读，上行同步需要可写权限
[root@rsync inotify-tools-3.14]# kill `cat /var/run/rsyncd.pid`
[root@rsync inotify-tools-3.14]# netstat -antp | grep rsync
[root@rsync inotify-tools-3.14]# rsync --daemon
[root@rsync inotify-tools-3.14]# netstat -antp | grep rsync
tcp        0      0 192.168.220.101:873     0.0.0.0:*               LISTEN      83693/rsync         

客户端

安装依赖包

[root@client ~]# yum -y install gcc gcc-c++

编译安装

[root@client opt]# tar -xzvf inotify-tools-3.14.tar.gz 
[root@client opt]# cd inotify-tools-3.14/
[root@client inotify-tools-3.14]# ./configure && make && make install

修改inotify内核参数

[root@client inotify-tools-3.14]# cat /proc/sys/fs/inotify/max_queued_events 
32768
[root@client inotify-tools-3.14]# cat /proc/sys/fs/inotify/max_user_instances 
1024
[root@client inotify-tools-3.14]# cat /proc/sys/fs/inotify/max_user_watches 
1048576

[root@client opt]# vim /etc/sysctl.conf
fs.inotify.max_queued_events = 32768      #监控时间队列，默认为16384
fs.inotify.max_user_instances = 1024	  #最多监控实例数，默认为128
fs.inotify.max_user_watches = 1048576	  #每个实例最多监控文件数，默认为8192
#当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值
[root@client opt]# sysctl -p
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

执行“inotifywait”命令
执行“inotifywait”命令，然后在服务端向 /var/www/html 目录下添加文件、移动文件，跟踪屏幕输出结果

[root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /abc

重启一个client端口，在/abc下创建文件观察


client编写触发同步脚本

[root@client abc]# vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"		//实时监控的命令
RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.220.101::wwwroot/"	//远程同步命令
$INOTIFY_CMD | while read DIRECTORY EVENT FILE	
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then	//先判断是否有同步操作在进行，如没有则同步
        $RSYNC_CMD
        fi
done
chmod +x /opt/inotify.sh //给与执行权限
chmod +x /etc/rc.d/rc.local //系统启动脚本
echo "/opt/inotify.sh" >> /etc/rc.d/rc.local //系统启动时加载inotify.sh脚本

测试
客户端测试，在/abc目录下创建文件，查看是否可以上行同步到rsync服务端