rsync远程同步实现快速、安全、高效的异地备份

目录

一、rsync介绍

1、rsync是什么？

2、rsync同步方式

3、rsync的特性

4、rsync的应用场景

5、rsync与cp、scp对比

6、rsync同步源

二、rsync命令

1、常用选项

2、实例：本地复制对比

3、配置源的两种表示方法

三、配置rsync下行同步

四、rsync实时同步（inotify工具）

1、定期同步的不足

2、实时同步的优点

3、Linux内核的inotify机制

4、inotify简介

5、rsync+Inotify介绍

四、配置inotify（上行同步）+rsync 实时同步

五、使用rsync来实现快速删除大量文件

---

一、rsync介绍

1、rsync是什么？

• rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息， 实现数据的备份迁移特性。
• rsync软件支持跨平台 ，适用于unix/ linux/windows等多种操作系统平台
• rsync是一个快速和非常方便的文件复制工具。 它能本地复制，远程复制，或者远程守护进程方式复制 ，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制
• 以其delta-transfer算法闻名。
• rsync监听端口:873
• rsync运行模式:C/S

2、rsync同步方式

• 完整备份 ：每次备份都是从备份源将所有的文件或目录备份到目的地。
• 差量备份 ：备份上次完全备份以后有变化的数据(针对上次的完全备份，备份过程中不清除存档属性) 。
• 增量备份 ：备份上次备份以后有变化的数据(不管是哪种类型的备份，有变化的数据就备份，且会清除存档属性)

3、rsync的特性

• 可以镜像保存整个目录和文件系统
• 可以很容易做到保持原文件的权限、时间、软硬连接等
• 无须特殊权限即可安装

快速

第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件
rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的宽带

安全

可以使用scp、ssh等方式来传输文件
也可通过直接socket连接
支持匿名传输，以方便进行网站镜像

4、rsync的应用场景

4.1 增量同步

4.2 备份/迁移： 可以作为辅助工具

（mysql 主从复制 rsync +inotify，趋于一致 双向同步，但是只能在并发量不大的时候可以用）

4.3 假设mysql 从主机A迁移到主机B（一主两从模式）

一主两从模式迁移方案

①确定迁移的时间、业务线停止的时间、要写文档描述具体操作，要发邮件审批

②确认迁移后的节点的环境问题（资源环境 + 系统依赖环境 + mysql内部的格式环境

• 例如自增长，自增长可能会导致主从复制不一致的情况
• 版本迁移问题，比如说低版本向高版本迁移。两个版本中的差异比较大，数据迁移比较重要，需要和研发沟通，让研发开发一个工具，让低版本可以转成高版本工具格式，使用工具迁移

③ 如果数据库是相同版本，可以用rsync + inotify持续同步

④ 测试、之前还要编写回滚方案

⑤ 提交检修申请 22：00 - 00：00

5、rsync与cp、scp对比

• cp命令是一种典型的将文件完整的拷贝到一个位置。而rsync是，第一次拷贝，在目标位置没有的时候，rsync是全量拷贝过去，但是第二次拷贝的时候，只会对差异项进行同步拷贝。所有如果对同一个文件进行二次备份的话，rsync速度会相较于cp而言更快。
• cp只支持本地，而rsync支持远程
• scp是基于cp原理，也是属于完整性拷贝文件。假设rsync和scp拷贝的文件都是第一，目标地址都没有要同步的文件，此时，这两者的差异在于，第一个，这个要传输的文件大不大，第二个要看在传输的过程中，用的带宽大不大。如果文件不大的情况下，scp是把数据从磁盘中的块存储提取出来，封装一下，网络传过去，此时scp更快，如果是更大的文件，比如说40G，带宽只支持100M的带宽，scp想要传输，需要拆分数据，一段一段传输。而rsync会根据一个逻辑意义上的空间，把数据划分出来，把数据先压缩再传输，所以这种方式而言，带宽校，文件大，这个时候先压缩再传输会比较快。此时适合用rsync远程同步。

6、rsync同步源

在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源

在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限

在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限

发起端：负责发起rsync 同步操作的客户机叫做发起端，通知服务器我要备份你的数据；

备份源：负责响应来自客户机rsync 同步操作的服务器叫做备份源，需要备份的服务器；

服务端：运行rsyncd服务，一般来说是需要备份的服务器；

客户端：存放备份数据。

二、rsync命令

格式： rsync [选项] 原始位置 目标位置

1、常用选项

绝大多数的备份程序要求指定原始位置、目标位置，rsync 命令也一样。最简单的 rsync 用法类似于 cp 命令。
例如，可以将文件/etc/fstab、目录/boot/grub 同步备份到/opt
目录下，其中“-r”选项表示递归整个目录树，“-l”选项用来备份链接文件。

[root@localhost ~]# rsync /etc/fstab /opt 
[root@localhost ~]# rsync -rl /etc/fstab /boot/grub /opt

常用选项	解释
-v，–verbose	详细模式输出
-q，–quiet	精简输出模式
-c，–checksum	打开校验开关，强制对文件传输进行校验
-a，–archive	归档模式，表示以递归方式传输文件，并保持所有文件树形
-z	在传输文件时进行压缩
-r，–recursive	对子目录以递归模式处理，包含目录及子目录中的所有文件
-H，–hard-links	保留硬链接
-l, --links	保留软链接
–delete	删除目标位置有而原始位置没有的文件（一致性）
–delete-after	传输结束以后再删除
-A	保留ACL属性信息

2、实例：本地复制对比

rsync -avz test/ /opt/：只会拷贝test目录下面的文件，而不会拷贝test这个目录

rsync -avz /test /opt/：会连着目录一起拷贝到/opt下

#验证rsync -avz  test/ /opt/ 效果 
mkdir /test
cd /test/
touch 1.txt 2.txt
cd /
rsync -avz test/ /opt/
cd /opt/
ls

#验证rsync -avz /test /opt/ 效果
cd /opt/
rm -rf *
rsync -avz /test /opt/
ls

3、配置源的两种表示方法

第一种：
#用户名@主机地址: :共享模块名
rsync -avz backuper@192.168.79.210: :wwwroot /root

#backuper指的是我在同步的时候用的哪个用户身份
#wwwroot代表的是模块，模块下面会写同步的默认路径和一些特性，所以我们只需要写模块就好了
#/root指的是本地节点


第二种：
#rsync:/用户名@主机地址/共享模块名
rsync -avz rsync: //backuper@192.168.7.210/wwwroot /root

URL：具体的位置点，例如：http://www.baidu.com./class1/men/id01.html
URI：标识的是拥有同一类特性或类型的一个集合 ,例如http://www.baidu.com./class1/men

三、配置rsync下行同步

1、环境准备

主机	操作系统	IP 地址	主要软件
Master	CentOS7	192.168.59.210	rsync、httpd
Slave	CentOS7	192.168.59.220	rsync

2、将 Master 服务器数据备份到 Slave 服务器

2.1 配置master主机（192.168.79.210）

第一步：关闭防火墙并安装所需软件

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制

yum install -y httpd rsync
#rsync系统一般已默认安装，安装httpd是为了生成/var/www/html目录
（后续会用到作为共享目录）

第二步：编辑rsync配置文件

vim /etc/rsyncd.conf
#编辑rsync配置文件
uid = root
gid = root
use chroot = yes
address = 192.168.79.210
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.79.0/24
[wwwroot]        
path = /var/www/html
comment = Document Root of www.zhuo.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper	
secrets file = /etc/rsyncd_users.db
----------------------详解-------------------------------
uid = root											#用户id,表示共享权限能执行的身份
gid = root											#组id
use chroot = yes									#开启，禁锢在源目录，表示允许在访问我备份的目录或文件的时候，使用的角色是root，同时你访问本地目录时拥有的也是root权限
address = 192.168.79.210							#监听地址
port 873											#默认端口号为873
log file = /var/log/rsyncd.log						#日志文件存放位置
pid file = /var/run/rsyncd.pid						#存放进程id的文件位置
hosts allow = 192.168.79.0/24						#允许访问的主机网段，有点类似于黑白名单
[wwwroot]        									#共享模块的名称，rsync默认调用该模块，默认我调用的路径是该模块指定的路径
path = /var/www/html								#源目录路径
comment = Document Root of www.zhuo.com				#
read only = yes										#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型，因为同步时，-avz已经进行压缩
auth users = backuper									#授权用户，使用wwwroot模块的用户是哪个用户，多个账户以空格隔开
secrets file = /etc/rsyncd_users.db					#存放账号信息的数据文件，一行一个

第三步：编辑用户账号文件并赋权

vim /etc/rsyncd_users.db
backuper:123123
#编辑用户账号文件，固定格式为[名称:密码]，一行一个

chmod 600 /etc/rsyncd_users.db
#官方要求，最好只是赋权600！

第四步：开启服务

rsync --daemon
#开启服务
netstat -natp | grep rsync
#检测端口号，确认服务是否成功开启

cd /var/www/html
#切换至共享目录下
touch meng.html zhu.html
ls

![](https://img-
blog.csdnimg.cn/0ecda2920cf5403d99c0b2e1064d62dc.png)![](https://img-
blog.csdnimg.cn/a886f05d049c49bd9979b21d765d6e86.png)

2.2 配置slave主机（192.168.79.220）

第一步：关闭防火墙并安装所需软件

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制

yum install -y rsync
#安装rsync

第二步：查看同步

mkdir /abc
cd /abc/
#创建一个目录/abc，用来同步

rsync -avz backuper@192.168.79.210::wwwroot /abc
#使用rsync同步备份源的同步文件

ls 
#查看同步是否成功

第四步：设置免交互

vim /etc/server.pass
123123
#编辑免交互密钥文件，第一行为密码


chmod 600 /etc/server.pass
#给密钥文件赋权600

rsync -az --delete --password-file=/etc/server.pass backuper@192.168.79.210::wwwroot /abc
#rsync，使用密钥文件/etc/server/pass对应backuper用户，IP地址为192.168.59.111的共享模块文件进行压缩，并归档同步至当前服务器的/abc目录下，同时删除差异内容，如果原目标有的，会增加，原目标没有的，会删除。保持一致性。

ls /abc
#查看下行同步是否成功

四、rsync实时同步（inotify工具）

1、定期同步的不足

• 执行备份的时间固定，延迟明显、实时性差

• 当同步源长期不变化时，密集的定期任务是不必要的

2、实时同步的优点

• 一旦同步源出现变化，立即启动备份
• 只要同步源无变化，则不执行备份

3、Linux内核的inotify机制

• 从版本2.6.13开始提供
• 可以监控文件系统的变动情况，并做出通知响应
• 辅助软件：inotify-tools

4、inotify简介

监控文件系统的变动情况，并做出通知响应

#调整inotify内核参数(优化)
letc/ sysctl.conf(内核参数配置文件)
inotifywait: #用于持续监控,实时输出结果
inotifywatch: #用于短期监控,任务完成后再输出结果
max_queue_events #监控事件队列大小
max_user instances #最多监控实例数，可以看成最多可以监控多少个实例
max_user_watches #每个实例最多监控文件数

#inotifywait格式参数
常见参数 说明
-m 持续进行监控
-r 递归监控所有子对象
-q 简化输出信息
-e 指定要监控哪些事件类型（*）

5、rsync+Inotify介绍

Linux 内核从 2.6.13 版本开始提供了 inotify
通知接口，用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、
增量备份，并针对目录或文件的变化及时作出响应。

将 inotify 机制与 rsync 工具相结合，可以实现触发式备份（实时同步）——只要原始位
置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态，如下图所示。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

![](https://img-
blog.csdnimg.cn/img_convert/f53d190f9e8dbd06e2830668943f2c49.png)

因为 inotify 通知机制由 Linux 内核提供

因此主要做本机监控，在触发式备份中应用时更适合 上行同步

四、配置inotify（上行同步）+rsync 实时同步

1、环境准备（已配置下行 不影响）

主机	操作系统	IP 地址	主要软件
rsync源服务器	CentOS7	192.168.59.210	rsync、httpd
rsync客户机（发起端）	CentOS7	192.168.59.220	rsync、inotify-tools

2、配置 rsync源服务器 主机（192.168.79.210）

vim /etc/rsyncd.conf
read only = no
#关闭只读模式，否则将不可写入
 
kill `cat /var/run/rsyncd.pid`
#修改完配置文件需要重启服务，这里采用直接杀掉进程号的方式

netstat -natp | grep rsync
#检查一下服务是否已被终止

rsync --daemon
netstat -natp | grep rsync
#再次开启服务并检查端口号确认

2、优化rsync客户机（发起端）内核参数（192.168.79.220）

cat /proc/sys/fs/inotify/max_queued_events      #监控事件队列
cat /proc/sys/fs/inotify/max_user_instances     #最多监控实例数
cat /proc/sys/fs/inotify/max_user_watches       #每个实例最多监控文件数

vim /etc/sysctl.conf         #加大每个参数
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
#当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值

sysctl -p
#刷新

3、rsync客户机（发起端）编译安装 inotify-tools​​​​​​​（192.168.79.220）

yum install -y gcc gcc-c++ 
#安装gcc gcc-c++ 

cd /opt
rz -E
#切换至/opt上传inotify-tools安装包

tar zxf inotify-tools-3.14.tar.gz 
#解压

cd /opt/inotify-tools-3.14/
./configure
make -j 4 && make install
#编译安装

4、客户机启动监听 （192.168.79.220）

用 inotify 机制安装 inotify-tools，提供 inotifywait、inotifywatch 辅助工具程序。

• inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果

• inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况

  #持续监听对/abc的modify,create,move,delete操作
  inotifywait -mrq -e modify,create,delete /abc

  #客户端再开启一个终端进行操作

首先经历的zhu.html还没被更改，所以现在交换分区中先复制一份到内存中，等修改后，落地到磁盘，删除虚拟内存、交换分区

5、客户机编写触发同步脚本 （192.168.79.220）

5.1 编写脚本

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.79.210::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done
----详解----
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /var/www/html/ "
#INOTIFY_CMD变量：持续监控 /opt/abc目录中的创建，删除，移动，修改，改变时间的操作
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ xixi@192.168.79.210::wwwroot"
#RSYNC_CMD变量：使用户xixi，/etc/server.pass 密钥文件，将 /opt/xcf1 目录下的文件进行压缩，归档，保留硬链接文件同步至 192.168.79.210 的共享模块定义的目录 /var/www/html 下，并删除差异性内容，保持一致性

$INOTIFY_CMD | while read DIRECTORY EVENT FILE		#持续监控...
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then		#如果服务并未启动，则执行同步
        $RSYNC_CMD
	fi
done

5.2 赋权并执行

cd /opt/
chmod +x inotify.sh
#给脚本赋权

chmod +x /etc/rc.d/rc.local 
echo "/opt/inotify.sh" >> /etc/rc.d/rc.local 
#设置开机自启动

sh -x inotify.sh
#执行脚本

6、验证

#在客户端手动执行脚本
./inotify.sh

#再开启一个客户端终端/var/www/html/ 目录下创建文件test.txt
cd /var/www/html
echo 'this is a test' >> test.txt

#在源服务器查看是否实时同步
cd /var/www/html
ls
cat test.txt

#在客户端创建文件、赋予权限和删除文件测试
echo 'this is test2' >> test2.txt
chmod 777 test2.txt
rm -rf test.txt

#在源服务器查看是否实时同步
ls
cat test2.txt
ll

① 手动执行脚本，然后再重新开一个终端

② 在客户端第二个终端/var/www/html/ 目录下创建文件test.txt

③ 在源服务器进程查看是否完成实时同步

④ 赋予权限和删除文件测试

五、使用rsync来实现快速删除大量文件

假如要在Linux下删除大量文件，比如100万、1000万，像 /usr/local/nginx/proxy_ temp 的nginx缓存等，那么
rm -rf * 可能就不好使了，因为要等待很长一段时间。

在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

格式：
rsync --delete-before -a -H -v --progress --stats 空文件夹 目标清空文件夹

选项说明:
–delete-before ：接收者在传输进行删除操作
-a ：归档模式，表示以递归方式传输文件，并保持所有文件属性
-H ：保持硬连接的文件
-v ：详细输出模式
–progress ：在传输时显示传输过程
–stats ：给出某些文件的传输状态

实验过程如下：

1、新建一个文件夹并创建1w个文件

2、新建一个空文件夹

3、使用rsync删除目标目录文件

rsync --delete-before -a -H -v --progress --stats /usr/local/new/ /usr/local/old/

4、验证：/usr/local/old文件夹已经为空

学习网络安全技术的方法无非三种:

第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。

第二种是自学，就是在网上找资源、找教程，或者是想办法认识一-些大佬，抱紧大腿，不过这种方法很耗时间，而且学习没有规划，可能很长一段时间感觉自己没有进步，容易劝退。

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

第三种就是去找培训。

接下来，我会教你零基础入门快速入门上手网络安全。

网络安全入门到底是先学编程还是先学计算机基础？这是一个争议比较大的问题，有的人会建议先学编程，而有的人会建议先学计算机基础，其实这都是要学的。而且这些对学习网络安全来说非常重要。但是对于完全零基础的人来说又或者急于转行的人来说，学习编程或者计算机基础对他们来说都有一定的难度，并且花费时间太长。

第一阶段：基础准备 4周~6周

这个阶段是所有准备进入安全行业必学的部分，俗话说：基础不劳，地动山摇

第二阶段：web渗透

学习基础 时间：1周 ~ 2周：

① 了解基本概念：（SQL注入、XSS、上传、CSRF、一句话木马、等）为之后的WEB渗透测试打下基础。
② 查看一些论坛的一些Web渗透，学一学案例的思路，每一个站点都不一样，所以思路是主要的。
③ 学会提问的艺术，如果遇到不懂得要善于提问。

配置渗透环境 时间：3周 ~ 4周：

① 了解渗透测试常用的工具，例如（AWVS、SQLMAP、NMAP、BURP、中国菜刀等）。
② 下载这些工具无后门版本并且安装到计算机上。
③ 了解这些工具的使用场景，懂得基本的使用，推荐在Google上查找。

渗透实战操作 时间：约6周：

① 在网上搜索渗透实战案例，深入了解SQL注入、文件上传、解析漏洞等在实战中的使用。
② 自己搭建漏洞环境测试，推荐DWVA，SQLi-labs，Upload-labs，bWAPP。
③ 懂得渗透测试的阶段，每一个阶段需要做那些动作：例如PTES渗透测试执行标准。
④ 深入研究手工SQL注入，寻找绕过waf的方法，制作自己的脚本。
⑤ 研究文件上传的原理，如何进行截断、双重后缀欺骗(IIS、PHP)、解析漏洞利用（IIS、Nignix、Apache）等，参照：上传攻击框架。
⑥ 了解XSS形成原理和种类，在DWVA中进行实践，使用一个含有XSS漏洞的cms，安装安全狗等进行测试。
⑦ 了解一句话木马，并尝试编写过狗一句话。
⑧ 研究在Windows和Linux下的提升权限，Google关键词：提权

以上就是入门阶段

第三阶段：进阶

已经入门并且找到工作之后又该怎么进阶？详情看下图

给新手小白的入门建议：
新手入门学习最好还是从视频入手进行学习，视频的浅显易懂相比起晦涩的文字而言更容易吸收，这里我给大家准备了一套网络安全从入门到精通的视频学习资料包免费领取哦！

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！