rsync

最新推荐文章于 2023-09-07 15:44:01 发布
最新推荐文章于 2023-09-07 15:44:01 发布
阅读量481 收藏 1
点赞数
分类专栏： 二阶 文章标签： 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68579466/article/details/126886745
版权

rsync

一、rsync简介

1.1rsync介绍

① rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

② rsync软件支持跨平台，适用于unix/ linux/windows等多种操作系统平台

③ rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

④ 以其delta-transfer算法闻名。

⑤ rsync监听端口:873

⑥ rsync运行模式:C/S

1.2rsync同步方式

  1. 全量备份：原有的数据全部传送，把原来的文件和新的文件一起统一传送，全量复制，效率低
  2. 差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性)。
  3. 增量备份：在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输增量复制，效率高

二、rsync特性

可以镜像保存整个目录和文件系统
可以很容易做到保持原文件的权限、时间、软硬连接等
无须特殊权限即可安装

快速

第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件
rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的宽带

安全

可以使用scp、ssh等方式来传输文件
也可通过直接socket连接
支持匿名传输，以方便进行网站镜像

服务端同步别人叫下行

别人同步服务端叫上行

三、rsync命令

常用的是-avz

image-20220823162650386

四、rsync本地复制实例

带/与不带的区别

  • rsync -avz dxj/ /opt/ :只会拷贝abc目录下面的文件，而不会拷贝dxj这个目录
  • rsync -avz /dxj /opt/：会连着目录一起拷贝到/opt下
#rsync -avz dxj/ /opt/ :只会拷贝abc目录下面的文件，而不会拷贝dxj这个目录
[root@localhost ~]# cd /opt
[root@localhost opt]# ls
[root@localhost opt]# mkdir /dxj
[root@localhost opt]# cd /dxj
[root@localhost dxj]# touch 1.txt 2.txt
[root@localhost dxj]# cd /
[root@localhost /]# rsync -avz dxj/ /opt
[root@localhost /]# cd /opt
[root@localhost opt]# ls
1.txt  2.txt  rh


#rsync -avz /dxj /opt/：会连着目录一起拷贝到/opt下
[root@localhost opt]# cd /opt
[root@localhost opt]# rm -rf *
[root@localhost opt]# ls
[root@localhost opt]# rsync -avz /dxj /opt
[root@localhost opt]# ls
dxj
[root@localhost opt]# cd /dxj
[root@localhost dxj]# ls
1.txt  2.txt

五、rsync同步源

  • 指备份操作的远程服务器，也称为备份源
    例：
    A服务器同步B服务器的数据，B服务器就是备份源
    反过来，B服务器同步A服务器的数据，那么A服务器就是备份源
  • 在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源
  • 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限
  • 在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限

image-20211227235255972

1.配置源的两种表示方法

格式一：

#用户名@主机地址: :共享模块名
rsync -avz backuper@192.168.35.6::wwwroot /root
#xiayan指的是我在同步的时候用的哪个用户身份
#wwwroot代表的是模块，模块下面会写同步的默认路径和一些特性，所以我们只需要写模块就好了
#/root指的是本地节点

格式二：

#rsync:/用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.35.6/wwwroot /root
#URL：具体的位置点，例如：http://www.baidu.com./class1/men/id01.html
#URI：标识的是拥有同一类特性或类型的一个集合 ,例如http://www.baidu.com./class1/men

2.配置 Rsync 下行同步

1.配置环境
主机操作系统IP 地址主要软件
MasterCentOS7192.168.35.6rsync
SlaveCentOS7192.168.35.7rsync / inotify-tools-3.14.tar.gz
2.将 Master 服务器数据备份到 Slave 服务器
#关闭防火墙及安全机制
[root@rsync ~]# systemctl stop firewalld
[root@rsync ~]# systemctl disable firewalld
[root@rsync ~]# setenforce 0

#rsync系统一般已默认安装，安装httpd是为了生成/var/www/html目录（后续会用到作为共享目录）
[root@rsync ~]# yum install -y httpd rsunc

#编辑rsync配置文件，按照下面操作该删的删，该取消注释的取消注释，或直接复制
vim /etc/rsyncd.conf

uid = root
gid = root
use chroot = yes
address = 192.168.35.6
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.35.0/24
[wwwroot]        
path = /var/www/html
comment = Document Root of www.xtj.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper	
secrets file = /etc/rsyncd_users.db

####上述解释####
uid = root											#用户id,表示共享权限能执行的身份
gid = root											#组id
use chroot = yes									#开启，禁锢在源目录，表示允许在访问我备份的目录或文件的时候，使用的角色是root，同时你访问本地目录时拥有的也是root权限
address = 192.168.35.6							#监听地址
port 873											#默认端口号为873
log file = /var/log/rsyncd.log						#日志文件存放位置
pid file = /var/run/rsyncd.pid						#存放进程id的文件位置
hosts allow = 192.168.35.0/24						#允许访问的主机网段，有点类似于黑白名单
[wwwroot]        									#共享模块的名称，rsync默认调用该模块，默认我调用的路径是该模块指定的路径
path = /var/www/html								#源目录分享的路径
comment = Document Root of www.yxp.com				#
read only = yes										#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型，因为同步时，-avz已经进行压缩
auth users = backuper									#授权用户，使用wwwroot模块的用户是哪个用户，多个账户以空格隔开
secrets file = /etc/rsyncd_users.db					#存放账号信息的数据文件，一行一个

#编辑用户账号文件，固定格式为[名称:密码]，一行一个
[root@rsync ~]# vim /etc/rsyncd_users.db
backuper:123456

#官方要求，最好只是赋权600
[root@rsync ~]# chmod 600 /etc/rsyncd_users.db

#开启服务
[root@rsync ~]# rsync --daemon

#检测端口号，确认服务是否成功开启
[root@rsync ~]# netstat -natp | grep rsync

#切换至共享目录下，创建要被备份的文件
[root@rsync ~]# cd /var/www/html/
[root@rsync html]# touch dog.html cat.html
[root@rsync html]# ls
cat.html  dog.html

image-20220823224145709

image-20220823224313830

3、slave配置
#关闭防火墙及安全机制
[root@slave ~]# systemctl stop firewalld
[root@slave ~]# systemctl disable firewalld
[root@slave ~]# setenforce 0

#安装rsync
[root@slave ~]# yum install -y rsync

#创建一个目录/ABC，用来同步
[root@slave ~]# mkdir /ABC
[root@slave ~]# cd /ABC

#使用rsync同步备份源的同步文件
[root@slave ABC]# rsync -avz backuper@192.168.35.6::wwwroot /ABC

#查看同步是否成功
[root@slave ABC]# ls
cat.html  dog.html

#编辑免交互密钥文件，第一行为密码
[root@slave ABC]# vim /etc/server.pass
123456

#给密钥文件赋权600
[root@slave ABC]# chmod 600 /etc/server.pass

#rsync，使用密钥文件/etc/server/pass对应backuper用户，IP地址为192.168.35.6的共享模块文件进行压缩，并归档同步至当前服务器的/abc目录下，同时删除差异内容，如果原目标有的，会增加，原目标没有的，会删除。保持一致性
[root@slave ABC]# rsync -az --delete --password-file=/etc/server.pass backuper@192.168.35.6::wwwroot /ABC

#查看下行同步是否成功
[root@slave /]# ls /ABC

六、inotify简介

可以监控文件系统的变动情况，并做出通知响应

#调整inotify内核参数(优化)
letc/ sysctl.conf(内核参数配置文件)
inotifywait:    #用于持续监控,实时输出结果
inotifywatch:   #用于短期监控,任务完成后再输出结果
max_queue_events   #监控事件队列大小
max_user instances      #最多监控实例数，可以看成最多可以监控多少个实例
max_user_watches        #每个实例最多监控文件数

inotifywait格式参数

常用参数说明
-m持续进行监控
-r递归监控所有子对象
-q简化输出信息
-e指定要监控哪些事件类型（*）

七、配置Rsync+Inotify 实时同步

  • 使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应
  • 将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态
  • 因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步

1.Master 关闭只读模式并为共享目录赋权（配制上行同步）

192.168.35.6
#关闭只读模式，否则将不可写入
[root@rsync html]# vim /etc/rsyncd.conf 
read only = no

#修改完配置文件需要重启服务，这里采用直接杀掉进程号的方式
[root@rsync html]# kill `cat /var/run/rsyncd.pid`

#检查一下服务是否已被终止
[root@rsync html]# netstat -natp | grep rsync

#再次开启服务并检查端口号确认
[root@rsync html]# rsync --daemon
[root@rsync html]# netstat -natp | grep rsync
tcp        0      0 192.168.113.127:873     0.0.0.0:*               LISTEN      69288/rsyn

2.优化 Slave 内核参数

192.168.35.7
[root@slave /]# cat /proc/sys/fs/inotify/max_queued_events   #监控事件队列
16384
[root@slave /]# cat /proc/sys/fs/inotify/max_user_instances   #最多监控实例数
128
[root@slave /]# cat /proc/sys/fs/inotify/max_user_watches  #每个实例最多监控文件数
8192

#加大每个参数
[root@slave /]# vim /etc/sysctl.conf 
#当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值,最后一行插入
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

#刷新
[root@slave /]# sysctl -p
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

3.客户端（192.168.35.7）：编译安装 inotify-tools

#安装gcc gcc-c++ 
[root@slave /]# yum install -y gcc gcc-c++

#切换至/opt上传inotify-tools安装包，并解压
[root@slave /]# cd /opt
[root@slave opt]# rz -E
rz waiting to receive.
[root@slave opt]# tar zxf inotify-tools-3.14.tar.gz 

#编译安装
[root@slave opt]# cd /opt/inotify-tools-3.14/
[root@slave inotify-tools-3.14]# ./configure
[root@slave inotify-tools-3.14]# make -j 4 && make install

4.客户端启动监听

#持续监听对/ABC的modify,create,move,delete操作
#监控 /ABC 下，添加文件、移动文件等操作，并跟踪屏幕输出结果
[root@slave opt]# inotifywait -mrq -e modify,create,delete,move /ABC
#然后另开一个终端,进行 创建、删除、重命名 等操作，查看变化
移动到/ABC目录下操作
touch 7.txt
touch 8.txt
rm -rf 8.txt
mv 8.txt 9.txt

5、编写触发同步脚本使 rsync+inotify 两个服务结合在一起

192.168.35.7

vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /ABC"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /ABC backuper@192.168.35.6::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done
----详解----
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/abc/"
#INOTIFY_CMD变量：持续监控 /opt/abc目录中的创建，删除，移动，修改，改变时间的操作
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/ABC/ backuper@192.168.35.6::wwwroot"
#RSYNC_CMD变量：使 backuper 用户，/etc/server.pass 密钥文件，将 /ABC 目录下的文件进行压缩，归档，保留硬链接文件同步至 192.168.35.6 的共享模块定义的目录 /var/www/html 下，并删除差异性内容，保持一致性

$INOTIFY_CMD | while read DIRECTORY EVENT FILE		#持续监控...
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then		#如果服务并未启动，则执行同步
        $RSYNC_CMD
	fi
done

#给脚本赋权
[root@slave inotify-tools-3.14]# cd /opt
[root@slave opt]# chmod +x inotify.sh 

#设置开机自启动
[root@slave opt]# chmod +x /etc/rc.d/rc.local 
[root@slave opt]# echo "/opt/inotify.sh" >> /etc/rc.d/rc.local 

#执行脚本
[root@slave ABC]# sh /opt/inotify.sh 

#在当前/ABC目录下进行增，删，改，然后去主服务器（192.168.113.127）/var/www/html下查看是否做到上行同步，同步会有点慢要等一小会
#例：在客户端创建
[root@slave ABC]# cd /ABC
[root@slave ABC]# touch 1.txt


#在服端查看（192.168.113.127），成功上传
[root@rsync ABC]# cd /var/www/html/
[root@rsync html]# ls
ABC  cat.html  dog.html
[root@rsync html]# ls ABC
1.txt

t/inotify.sh" >> /etc/rc.d/rc.local

#执行脚本
[root@slave ABC]# sh /opt/inotify.sh

#在当前/ABC目录下进行增，删，改，然后去主服务器（192.168.113.127）/var/www/html下查看是否做到上行同步，同步会有点慢要等一小会
#例：在客户端创建
[root@slave ABC]# cd /ABC
[root@slave ABC]# touch 1.txt

#在服端查看（192.168.113.127），成功上传
[root@rsync ABC]# cd /var/www/html/
[root@rsync html]# ls
ABC cat.html dog.html
[root@rsync html]# ls ABC
1.txt
世上无难事754
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rsync 详解
lqbz的总结
02-25 1090
简介 RSYNC=Remote Sync 远程同步，与SCP的比较：scp=无法备份大量数据，类似windows的复制，rsync=边复制 ，边统计，边比较。 Rysnc特性和优点 可以镜像保存整个目录树和文件系统。 可以很容易做到保持原来文件的权限、时间、软硬链接等等。 无须特殊权限即可安装。 快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。 压缩传输：rsync ...
rsync详解
热门推荐
wq1205750492的博客
04-29 6万+
一、rsync介绍 1、rsync是什么 rsync（remote synchronize）是Liunx/Unix下的一个远程数据同步工具。 它可通过LAN/WAN快速同步多台主机间的文件和目录，并适当利用rsync算法（差分编码）以减少数据的传输。 rsync算法并不是每一次都整份传输，而是只传输两个文件的不同部分，因此其传输速度相当快。 除此之外，rsync可拷贝、显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。 2、rsync的工作原理 a、客户端构造FileList，FileList
fs.inotify.max_user_watches默认值太小，导致too many open files
weiguang1017的专栏
01-12 4万+
看到too many open files可能想到fs.file-max参数，其实还受下面参数影响： fs.inotify.max_queued_events：表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。 fs.inotify.max_user_instanc
Rsync远程同步
Hard work results, technology is willing to dream
04-04 3654
rsync远程同步
rsync rpm安装包
09-07
rsync rpm安装包
rsync 端口更换(默认873)
09-30
用rsync对网站进行镜像备份的时候，有时候需要设置自定义端口，那么就可以参考下面的方法
rsync-3.2.3.tar
11-26
Rsync version 3.2.3
Rsync Windows 免费同步软件
03-13
Rsync是一款不错的文件免费同步软件，可以镜像保存整个目录树和文件系统，同时保持原来文件的权限、时间、软硬链接。第一次同步时 rsync 会复制全部内容，下次只传输修改过的文件部分。传输数据过程中可以实行压缩及...
在Windows中配置Rsync同步文件的方法
09-30
主要介绍了在Windows中配置Rsync同步文件的方法，很多下载站都是用的这种方法，方便网站备份,需要的朋友可以参考下
rsync 数据同步 实时同步 linux
11-09
亲测，有疑问可以加我，共同讨论学习！
rsync结合find技巧分享
01-20
rsync -avpz -e ssh 192.... 您可能感兴趣的文章:rsync命令排除文件和文件夹(exclude-from)RSync实现文件同步备份配置详解Rsync命令参数详解rsync 安装使用详解rsync 常见错误与解决方法整理rsync详解之exclude排除文件
rsync远程同步
weixin_69148277的博客
05-22 2489
rsync，remote synchronize顾名思义就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。rsync 远程同步： 一款快速增量备份工具 Remote Sync，远程同步 支持本地复制，或者与其他SSH、rsync主机同步。作用：做数据备份。
Linux修改fs.inotify.max_user_watches(“外部文件更改同步可能很慢”和“当前的 inotify(7) 监视限制太低”)
一起coding，一起嗨。
09-07 2467
参数的值可以增加允许的最大观察者数量，从而允许更多的文件或目录被监视。这在某些情况下非常有用，比如当您的应用程序需要监视大量文件或目录的变化时，或者您正在开发一个基于文件系统事件的应用程序。inotify 是一种文件系统监控机制，它可以用于检测文件或目录的变化，并在事件发生时通知相关的应用程序。当数量超过此限制时，新的监视请求将被拒绝。参数需要对应的权限，并且增加的值应该根据您特定的需求进行调整。较大的值可能会占用更多的系统资源，建议根据实际情况选择适当的值。目录中创建一个新的配置文件，并将参数写入其中。
rsync-远程同步
weixin_63634809的博客
04-21 1667
文章目录一、rsync1.1 rsync简介1.2 rsync同步方式1.3 rsync特性1.4 rsync与cp、scp对比1.5 rsync命令1.6 rsync本地复制实例1.7 配置源的两种表示方法1.8 rsync 同步源二、配置 rsync 下行同步2.1 配置环境2.2 将 Master 服务器数据备份到 Slave 服务器三、 inotify3.1 配置rsync+Inotify 实时同步3.1.1 master 关闭只读模式并为共享目录赋权3.1.2 优化 Sl
rsync下行同步+inotify实时同步部署
weixin_67565536的博客
07-21 846
可以监控文件系统的变动情况，并做出通知响应#调整inotify内核参数(优化)letc/sysctl.conf(内核参数配置文件)#用于持续监控,实时输出结果#用于短期监控,任务完成后再输出结果max_queue_events#监控事件队列大小max_userinstances#最多监控实例数，可以看成最多可以监控多少个实例max_user_watches#每个实例最多监控文件数inotifywait格式参数常见参数说明-m持续进行监控-r递归监控所有子对象。...
docker rsync
最新发布
12-22
docker run -d --name rsync-server -p 873:873 -v /path/to/source:/data -v /etc/rsync.password:/etc/rsync.password eeacms/rsync ``` 其中，`/path/to/source`是你要同步的源文件或目录的路径。 2. 使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值