rsync下行同步

目录

一、概述

1、rsync服务器

2、同步方式

2.1全量备份

2.2增量备份

3、rsync源服务器的关系

三、配置rsync源

1、基本思路

2、配置文件rsync.conf

3、独立的账号文件

4、启用rsync服务

5、rsync功能及特点

6、rsync同类服务

7、cp于rsync的比较

四、rsync命令

五、配置源的两种方式

格式一：

格式二：

六、配置rsync下行同步

1、client（192.168.170.111）

2、server（192.168.170.113）

七、inotify简介

八、rsync+inotify实时同步

1、client（192.168.170.111）

2、server（192.168.170.113）

3、client验证（192.168.170.111）

九、总结

1、rsync的优缺点

①优点：

②缺点：

2、rsync上行同步（上传）

3、下行同步（下载）

---

一、概述

1、rsync服务器

①rsync是一款开源的、快速的、多功能的、可实现全量以及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息。实现数据的备份迁移特性。

②rsync软件适用于unix/linux/windows等多种操作系统平台。

③rsync是一个快速和非常相同的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制。

④以其delta-transfer算法闻名。

⑤rsync监听端口：873

⑥rsync运行模式：C/S

2、同步方式

2.1全量备份

原有的数据全部传送，把原来的文件和新的文件一起统一传送，全量复制，效率低。

2.2增量备份

在传输数据之前通过一些算法通过你有的数据和我有的数据进行比对，把不一样的数据通过网络传输，增量复制，效率高。

3、rsync源服务器的关系

①rsync同步源

②指备份操作的远程服务器，也称为备份源

举例：A服务器同步B服务器的数据，B服务器就是备份源

反之，B服务器同步A服务器的数据，那么A服务器就是备份源

三、配置rsync源

1、基本思路

建立rsync.conf配置文件、独立的账号文件

启用rsync的--daemon模式

2、配置文件rsync.conf

认证配置auth users secrets file，不加则为匿名。

3、独立的账号文件

用户名：密码

每行一个用户记录

独立的账号数据，不依赖系统账号

4、启用rsync服务

通过--daemon独自提供服务，rsync --daemon

执行kill $(cat /var/run/rsync.pid)关闭服务

5、rsync功能及特点

rsync功能

作为命令：实现本地-远程文件同步

作为服务：实现本地-远程文件同步

rsync特点

可以镜像保存整个目录树和文件系统

可以保留原有的权限（permission，mode），owner，group，时间（修改时间，modify time），软硬链接，文件acl，文件属性（attributes）信息等

传输效率高，使用同步算法，只比较变化的。

支持匿名传输，方便网站镜像；也可以做验证，加强安全

6、rsync同类服务

sync同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。

async异步：将数据先放入到缓冲区，再周期性（一般是30s）的去同步到磁盘。

rsync远程同步：remote synchronous

7、cp于rsync的比较

①cp将源文件完整复制到指定路径下 全备

②rsync做本地复制的时候

③先将源文件和目标文件进行比较，找出差异部分

④根据目的位置的文件与源文件差异的部分，进行一致性同步

⑤scp：seure copy同样是用来进行远程复制的命令，但是每次备份数据都是完全备份

四、rsync命令

命令使用语法

rsync 【选项】原始位置 目标位置

常用选项

-r	递归模式，包含目录及子目录中的所有文件
-l	对于符号链接文件仍然复制为符号链接文件

-v	显示同步过程的详细信息
-z	在传输时进行压缩
-a	归档模式，递归并保留对象属性，等同于-rlptgoD
-p	保留文件的权限标记

-t	保留文件的时间标记
-g	保留文件的属组标记（仅超级用户使用）
-o	保留文件的属主标记（仅超级用户使用）

-H	保留硬链接文件
-A	保留ACL属性信息
-D	保留设备文件及其他特殊文件

--delete	删除目标位置有而原始位置没有的文件
--checksum	根据对象的校验和来决定是否跳过文件

--delete的作用简单的来说，就是删除差异性文件，保留一致性

五、配置源的两种方式

格式一：

用户名@主机地址::共享模块名

格式二：

rsync://用户名@主机地址/共享模块名

六、配置rsync下行同步

配置rsync下行同步

主机	操作系统	IP地址	软件 / 安装包 / 工具
client	CentOS7	192.168.170.111	rsync
server	CentOS7	192.168.170.113	rsync

下行同步：将client服务器数据备份到slave服务器

1、client（192.168.170.111）

systemctl stop firewalld.service 
setenforce 0
 
yum -y install httpd rsync 
 
vim /etc/rsyncd.conf 
 
uid = nobody
gid = nobody
use chroot = yes                                                
address = 192.168.170.111
port 873                                                                
log file = /var/log/rsyncd.log                  
pid file = /var/run/rsyncd.pid                  
hosts allow = 192.168.170.0/24
[wwwroot]                                                               
path = /var/www/html                                    
comment = Document Root of www.lic.com
read only = yes                                                  
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z        
auth users = kiki                                               
secrets file = /etc/rsyncd_users.db

vim /etc/rsyncd_users.db
rmh:123123
 
chmod 600 /etc/rsyncd_users.db
 
rsync --daemon
netstat -natp | grep rsync
 
cd /var/www/html
touch 1.html 2.html
ls

2、server（192.168.170.113）

systemctl stop firewalld.service 
setenforce 0
 
yum -y install rsync
 
cd /opt
mkdir kfc
chmod 777 kfc

vim /etc/server.pass
123123
 
chmod 600 /etc/server.pass 
 
rsync -az --delete --password-file=/etc/server.pass rmh@192.168.170.113::wwwroot /opt/kfc
 
ls kfc

七、inotify简介

可以监控文件系统的变动情况，并作出通知响应

①调整inotify内核参数（优化）

②/etc/sysctl.conf（内核参数配置文件）

max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

③notifywait：用于持续监控，实时输出结果

④inotifywatch：用于短期监控，任务完成后再输出结果

inotifywait -mrq -e modify,create,move,delete /var/www/html

-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型

modify	修改
create	创建
move	移动
delete	删除

八、rsync+inotify实时同步

1、client（192.168.170.111）

vim /etc/rsyncd.conf
read only = no
 
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
 
rsync --daemon
netstat -natp | grep rsync
 
chmod 777 /var/www/html

2、server（192.168.170.113）

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances 
cat /proc/sys/fs/inotify/max_user_watches 
 
vim /etc/sysctl.conf 
 
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
 
sysctl -p

yum -y install gcc gcc-c++ 
 
#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt
 
 
cd /opt/inotify-tools-3.14/
 
./configure
make && make install

3、client验证（192.168.170.111）

cd /var/www/html
ls

九、总结

1、rsync的优缺点

①优点：

与传统的cp跟tar备份方式相比，rsync具备的安全性更高，备份迅速，支持增量备份等优势，经过rsync能够解决对实时性要求不高的数据备份需求，例如按期的备份文件服务器数据到远端服务器，对本地磁盘按期做数据镜像等。

②缺点：

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了不少不足，首先，rsync同步数据时，须要扫描全部文件后进行比对，进行差量传输。若是文件数量达到了百万甚至千万量级，扫描全部文件将是很是耗时的。并且正在发生变化的每每是其中不多的一部分，这是很是低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它能够经过linux守护进程的方式进行触发同步，可是两次触发动做必定会有时间差，这样就致使了服务端和客户端数据可能出现不一致，没法在应用故障时彻底的恢复数据。

2、rsync上行同步（上传）

客户端(源)----》RSYNC----》服务器(目标)在这种情况下，客户端有一些(需要备份的数据)文件，它们需要同步到服务器过程
RSYNC
首先在客户端和服务器之间建立一个连接，然后比较两边的文件。只有在客户端上新的或已更改的文件才会被上传的服务器
一般会结合 inotify (文件实时监控)来同步数据

3、下行同步（下载）

服务器(源)---》---》客户端(目标)rsync在这种情况下，服务器有一些(需要备份的数据)文件，它们需要同步到客户端过程
RSYNC首先在服务器和客户端建立一个连接。然后比较两边的文件。只有在服务器上新的或已更改的文件才会被下载到客户端rsync -avz user@地址::模块/local/deirctory