rsync下行同步

目录

一.定义

1.rysnc服务器

（1）rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

（2）rsync软件适用于unix/linux/windows等多种操作系统平台

（3）rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

（4）以其delta-transfer算法闻名。

（5）rsync监听端口：873

（6）rsync运行模式：C/S

2.同步方式

（1）全量备份

（2）增量备份

3.rsync源服务器的关系

（1）rsync同步源

（2）指备份操作的远程服务器，也称为备份源

二.rsync命令

三.配置rysnc源

1.基本思路

2.配置文件rsyncd.conf

3.独立的账号文件

4.启用rsync服务

5.rsync 功能及特点

（1）rsync功能

（2）rsync特点

6.rsync同类服务

7.cp 与rsync的比较

（1）cp将源文件完整复制到指定路径下  全备

（2）rsync  做本地复制的时候  

（3）先将源文件和目标文件进行比较，找出差异部分

（4）根据目的位置的文件与源文件差异的部分，进行一致性同步

（5）scp：secure copy 同样是用来进行远程复制的命令，但是每次备份数据都是完全备份

四.配置源的两种表达方式

格式一

格式二

五.inotify简介

六.配置rsync下行同步

1.client（192.168.227.100）

2.server（192.168.227.101）

3.验证

七.inotify

1.调整inotify内核参数（优化）

2./etc/sysctl.conf（内核参数配置文件）

3.notifywait：用于持续监控，实时输出结果

4.inotifywatch：用于短期监控，任务完成后再输出结果

八. rsync+inotify实时同步

1.client（192.168.227.100）

2.server（192.168.227.101）

3.client(192.168.227.100)验证

---

一.定义

1.rysnc服务器

（1）rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

（2）rsync软件适用于unix/linux/windows等多种操作系统平台

（3）rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

（4）以其delta-transfer算法闻名。

（5）rsync监听端口：873

（6）rsync运行模式：C/S

2.同步方式

（1）全量备份

原有的数据全部传送

把原来的文件和新的文件一起统一传送

全量复制，效率低

（2）增量备份

在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输

增量复制，效率高

3.rsync源服务器的关系

（1）rsync同步源

（2）指备份操作的远程服务器，也称为备份源

举例：A服务器同步B服务器的数据，B服务器就是备份源

反之，B服务器同步A服务器的数据，那么A服务器就是备份源

二.rsync命令

rsync 【选项】原始位置 目标位置

-r	递归模式，包含目录及子目录中的所有文件
-l	对于符号链接文件仍然复制为符号链接文件
-v	显示同步过程的详细信息
-z	在传输时进行压缩
-a	归档模式，递归并保留对象属性，等同于-rlptgoD
-p	保留文件的权限标记
-t	保留文件的时间标记
-g	保留文件的属组标记（仅超级用户使用）
-o	保留文件的属主标记（仅超级用户使用）
-H	保留硬链接文件
-A	保留ACL属性信息
-D	保留设备文件及其他特殊文件
--delete	删除目标位置有而原始位置没有的文件
--checksum	根据对象的校验和来决定是否跳过文件

--delete的作用简单来说，就是删除差异文件，保留一致性

三.配置rysnc源

1.基本思路

建立rsyncd.conf配置文件、独立的账号文件
启用rsync的 --daemon模式

2.配置文件rsyncd.conf

认证配置auth users、secrets file，不加则为匿名

3.独立的账号文件

用户名:密码
每行一个用户记录
独立的账号数据，不依赖系统账号

4.启用rsync服务

通过 --daemon独自提供服务，rsync --daemon
执行kill $(cat /var/run/rsyncd.pid)关闭服务

5.rsync 功能及特点

（1）rsync功能

作为命令：实现本地-远程文件同步

作为服务：实现本地-远程文件同步

（2）rsync特点

可以镜像保存整个目录树和文件系统

可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl,文件属性(attributes)信息等

传输效率高，使用同步算法，只比较变化的

支持匿名传输，方便网站镜像；也可以做验证，加强安全

6.rsync同类服务

sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。

async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。

rsync 远程同步：remote synchronous

7.cp 与rsync的比较

（1）cp将源文件完整复制到指定路径下  全备

（2）rsync  做本地复制的时候  

（3）先将源文件和目标文件进行比较，找出差异部分

（4）根据目的位置的文件与源文件差异的部分，进行一致性同步

（5）scp：secure copy 同样是用来进行远程复制的命令，但是每次备份数据都是完全备份

四.配置源的两种表达方式

格式一

用户名@主机地址::共享模块名

格式二

rsync://用户名@主机地址/共享模块名

五.inotify简介

可以监控文件系统的变动情况，并做出通知响应

• 调整inotify内核参数（优化）

• /etc/sysctl.conf(内核参数配置文件)

max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

• notifywait：用于持续监控，实时输出结果

• inotifywatch：用于短期监控，任务完成后再输出结果

inotifywait -mrq -e modify,create,move,delete /var/www/html

-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
move	移动
delete	删除

六.配置rsync下行同步

主机	操作系统	IP地址	软件 / 安装包 / 工具
client	CentOS7	192.168.227.100	rsync
server	CentOS7	192.168.227.101	rsync / inotify-tools-3.14.tar.gz

1.client（192.168.227.100）

systemctl stop firewalld.service 
setenforce 0
 
yum -y install httpd rsync 
 
vim /etc/rsyncd.conf 
 
uid = nobody
gid = nobody
use chroot = yes                                                
address = 192.168.227.101
port 873                                                                
log file = /var/log/rsyncd.log                  
pid file = /var/run/rsyncd.pid                  
hosts allow = 192.168.227.0/24
[wwwroot]                                                               
path = /var/www/html                                    
comment = Document Root of www.lic.com
read only = yes                                                  
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z        
auth users = wsk                                               
secrets file = /etc/rsyncd_users.db

vim /etc/rsyncd_users.db
wsk:123456
 
chmod 600 /etc/rsyncd_users.db
 
rsync --daemon
netstat -natp | grep rsync
 
cd /var/www/html
touch aaa.html bbb.html
ls

2.server（192.168.227.101）

systemctl stop firewalld.service 
setenforce 0
 
yum -y install rsync
 
cd /opt
mkdir kfc
chmod 777 kfc

vim /etc/server.pass
123456
 
chmod 600 /etc/server.pass 
 
rsync -az --delete --password-file=/etc/server.pass wsk@192.168.227.101::wwwroot /opt/kfc
 
ls kfc

3.验证

七.inotify

可以监控文件系统的变动情况，并作出通知响应

1.调整inotify内核参数（优化）

2./etc/sysctl.conf（内核参数配置文件）

max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

3.notifywait：用于持续监控，实时输出结果

4.inotifywatch：用于短期监控，任务完成后再输出结果

inotifywait -mrq -e modify,create,move,delete /var/www/html

-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型

modify	修改
create	创建
move	移动
delete	删除

八. rsync+inotify实时同步

1.client（192.168.227.100）

vim /etc/rsyncd.conf
read only = no
 
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
 
rsync --daemon
netstat -natp | grep rsync
 
chmod 777 /var/www/html

2.server（192.168.227.101）

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances 
cat /proc/sys/fs/inotify/max_user_watches 
 
vim /etc/sysctl.conf 
 
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
 
sysctl -p

yum -y install gcc gcc-c++ 
 
#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt
 
 
cd /opt/inotify-tools-3.14/
 
./configure
make && make install

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/kfc/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/kfc/ wsk@192.168.227.100::wwwroot"
 
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done

3.client(192.168.227.100)验证

cd /var/www/html
ls