Rsync 远程同步

已于 2022-07-27 09:05:03 修改
阅读量257 收藏
点赞数
文章标签： 服务器 ssh linux
于 2022-07-26 16:18:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FBdart/article/details/125987461
版权

文章目录

一、Rsync 的介绍

1.1 Rsync 是一款快速增量备份工具

  • Remote Sync，远程同步
  • Rsync 是一款开源的、快速的、多功能的、可实现全量以及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。
  • Rsync 软件支持跨平台，适用于 Unix/linux/windows 等多种操作系统平台。
  • Rsync 是一个快速和非常方便的文件复制工具。他能本地复制，远程复制，或者远程守护进程方式复制。
  • 支持本地复制，或者与其他 SSH、Rsync 主机同步
  • 官方网站：https://rsync.samba.org/
  • 以其 delta-transfer 算法闻名。
  • Rsync 监听端口：873
  • Rsync 运行模式：C/S

1.2 Rsync 同步方式

  • 全量备份： 原有的数据全部传送，把原来的文件和新的文件一起统一传送，全量复制，效率低。

  • 增量备份： 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一致的数据通过网络传输增量复制，效率高。

1.3 Rsync 特性

  • 可以镜像保存整个目录和文件系统。
  • 可以很容易做到保持原有的权限、时间、软硬链接等。
  • 无须特殊权限即可安装。

  • 快速
    第一次同步时：rsync会复制全部内容，但是在下一次传输修改过的文件，rsync在传输数据的过程中可以实行压缩以及解压缩操作，因此可以使用更少的宽带。

  • 安全
    可以使用scp、ssh等方式来传输文件；
    也可以通过socket连接；
    支持匿名传输，以方便进行网站镜像。

1.4 Rsync 与 cp、scp 对比

  • cp 命令是一种典型的将文件完整的拷贝到一个位置。而 rsync 是，第一次拷贝，在目标位置没有的时候，rsync 是全量拷贝过去，但是第二次拷贝的时候，只会对差异项进行同步拷贝。所以如果对同一个文件进行二次备份的话，rsync 速度对相较于 cp 而言更快。
  • cp 只支持本地，而 Rsync 支持远程。
  • scp 是基于 cp 原理，也是属于完整性的拷贝文件。假设 rsync 和 scp 拷贝的文件都是第一，目标地址都没有要同步的文件，此时，这两者的差异就在于，第一个，这个要传输的文件大不大，第二个要看在传输的过程中，用的带宽大不大。如果文件不大的情况下，scp 是把数据从磁盘中的块存储提取出来，封装一下，网络传过去，scp 更快，如果是更大的文件，比如说 40G 的，带宽只支持 100M 的带宽，scp 想要传输，需要拆分数据，一段一段的传输。而 rsync 会根据一个逻辑意义上的空间，把数据划分出来，把数据先压缩在传输，所以这种方式而言，带宽校验，文件大，这个时候先压缩在传输会比较快。此时适合用 rsync 远程同步。

1.5 rsync同类服务

  • sync同步： 刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级快。

  • async异步： 将数据先放入缓冲区，再周期性（一般是30s）的去同步到磁盘。

  • rsync远程同步： remote synchronous

二、Rsync 源服务器的关系

  • Rsync 同步源
  • 指备份操作的远程服务器，也称为备份源
    比如：
    A服务器同步B服务器的数据，B服务器就是备份源
    反过来，B服务器同步A服务器的数据，那么A服务器就是备份源。

在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源。

  1. 在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限。
  2. 在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限。

在这里插入图片描述

在进行 rsync 服务的时候，从哪个端发起的就是 客户端，客户端 到 服务端 就是上行！反行之就是下行！

三、配置 Rsync 源

3.1 基本思路

  • 建立 rsyncd.conf 配置文件、独立的账号文件
  • 启用 rsync 的 --daemon 模式

3.2 配置文件 Rsyncd.conf

  • 认证配置 auth users、secrets file ，不加则为匿名。

3.3 独立的账号文件

  • 用户名:密码
  • 每行一个用户记录
  • 独立的账号数据，不依赖系统账号

3.4 启用 Rsync 服务

  • 通过 --daemon 独自提供服务，rsync --daemon
  • 执行 kill $(cat /var/run/rsyncd.pid) 关闭服务

四、Rsync 命令

命令使用语法

rsync [选择] 原始位置 目标位置

常用选项

  • 常使用的是 -avz
命令说明
-r递归模式，对子目录以递归模式处理，包含目录及子目录中的所有文件
-l对于符号链接文件仍然复制为符号链接文件
-v ，-verbose显示同步过程的详细信息
-z在传输文件时进行压缩
-a，-archive归档模式，递归并保留对象属性，等同于 -rlptgoD
-p保留文件的权限标记
-q，-quiet精简输出模式
-c，-checksum打开校验开关，强制对文件传输进行校验
-t保留文件的时间标记
-g保留文件的属组标记（仅超级用户使用）
-o保留文件的属主标记（仅超级用户使用）
-H保留硬链接文件
-A保留 ACL 属性信息
-D保留设备文件及其他特殊文件
- -delete删除目标位置有而原始位置没有的文件
- -checksum根据对象的校验和来决定是否跳过文件

五、Rsync 本地复制

其中两者的区别

  • rsync -avz DART/ /opt/:只会拷贝abc目录下面的文件，而不会拷贝abc这个目录。
  • rsync -avz /DART /opt/: 会连着目录一起拷贝到opt下。

在这里插入图片描述

六、配置源的两种表达方式

方式一

用户名@主机地址::共享模块名
rsync -avz backuper@192.168.10.13::wwwroot /opt/

#backuper:指的是我在同步的时候用的哪个用户身份
#wwwroot：代表的是模块，模块下面会写同步的默认路径和一些特性，所以我们只需要写模块就好了
#/root：指的是本地节点

方式二

rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.10.13/wwwroot /opt/

URL：具体的位置点，例如：>http://www.baidu.com./class1/men/id01.html
URI：标识的是拥有同一类特性或类型的一个集合 ，例如 http://www.baidu.com./class1/men

七、inotify 的简介

可以监控文件系统的变动情况，并做出通知响应

  • 调整 inotify 内核参数（优化）

    • /etc/sysctl.conf (内核参数配置文件)

    • max_queue_events：监控事件队列大小

    • max_user_instances：最多监控实例数

    • max_user_watches：每个实例最多监控文件数

  • 使用inotify-tools辅助工具

    • inotifywait：用于持续监控，实时输出结果

    • inotifywatch：用于短期监控，任务完成后再输出结果

在这里插入图片描述

例如：

inotifywait -mrq -e modify,create,move,delete /var/www/html

指令说明
-m持续进行监控
-r递归监控所有子对象
-q简化输出信息
-e指定要监控哪些事件类型
modify修改
create创建
move移动
delete删除

八、配置 Rsync 下行同步

环境配置

  • 安装包：inotify-tools-3.14.tar.gz
  • 下行同步：将 master 服务器数据备份到 slave 服务器
服务器操作系统IP地址安装包
服务端（Master）CentOS 7192.168.10.13rsync
客户端（Slave）CentOS 7192.168.10.14rsync / inotify-tools-3.14.tar.gz

8.1 配置 rsync 源服务器（Master 192.168.10.13）

一般系统默认安装 rsync
rpm -q rsync

关闭防火墙及安装机制
systemctl stop firewalld.service
systemctl disable firewalld
setenforce 0

Rsync 系统一般已默认安装，安装 httpd 是为了生成 /var/www/html 目录（后续会用到作为共享目录）

yum install -y httpd rsync

在这里插入图片描述

编辑 rsync 配置文件
vim /etc/rsyncd.conf

uid = root
gid = root
use chroot = yes
address = 192.168.10.13
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.10.0/24
[wwwroot]        
path = /var/www/html
comment = Document Root of www.dart.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper
secrets file = /etc/rsyncd_users.db

解释

uid = root											——用户 ID，表示共享权限能执行的身份
gid = root											——组 ID
use chroot = yes									——开启，禁锢在源目录，表示允许在访问我备份的目录或文件的时候，使用的角色是 Root ，同时你访问本地目录时拥有的也是 Root 权限
address = 192.168.10.13								——监听本机的 IP 地址
port 873											——默认端口号为873
log file = /var/log/rsyncd.log						——日志文件存放位置
pid file = /var/run/rsyncd.pid						——存放进程 ID 的文件位置
hosts allow = 192.168.10.0/24						——允许访问的主机网段，有点类似于黑白名单
[wwwroot]        									——共享模块的名称，Rsync 默认调用该模块，默认我调用的路径是该模块指定的路径
path = /var/www/html								——源目录路径
comment = Document Root of www.dart.com
read only = yes										——是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	——同步时不再压缩的文件类型，因为同步时，-avz 已经进行压缩
auth users = backuper								——授权用户，使用 wwwroot 模块的用户是哪个用户，多个账户以空格隔开
secrets file = /etc/rsyncd_users.db					——存放账号信息的数据文件，一行一个

若采用匿名的方式，只要将其中的“ auth users ”和“ secrets file ”配置项去掉就可

在这里插入图片描述

为备份账户创建数据文件

vim /etc/rsyncd_users.db

编辑的用户账号文件，固定格式为 [名称:密码] ，一行一个

backuper:123456			——无需建立同名系统用户

用哪个用户就给哪个用户密码就行了在这里插入图片描述

官方要求，最好只是赋权 600
chmod 600 /etc/rsyncd_users.db

rpm -q httpd

保证所有用户对源目录 /var/www/html 都有读取权限
chmod +r /var/www/html
ls -ld /var/www/html

在这里插入图片描述

启动 rsync 服务程序
rsync --daemon			——启动 rsync 服务，以独立监听服务的方式（守护进程）运行

检测端口号，确认服务是否成功开启
netstat -natp | grep rsync

在这里插入图片描述

关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

在这里插入图片描述

切换至共享目录下
cd /var/www/html

touch a.html b.html
ls

8.2 Slave（192.168.10.14）

systemctl stop firewalld.service
systemctl disable firewalld
setenforce 0


yum -y install rsync

cd /opt
mkdir abcd
chmod 777 abcd

在这里插入图片描述

vim /etc/server.pass
~ 123456

cat /etc/server.pass
123456

赋权 600
chmod 600 /etc/server.pass

在这里插入图片描述

8.3 验证结果

Master（192.168.10.13）

cd /var/www/html/
touch a.txt

在这里插入图片描述

Slave（192.168.10.14）

rsync -az --delete --password-file=/etc/server.pass backuper@192.168.10.13::wwwroot /opt/abcd

ls abcd

九、Rsync + Inotify 实时同步

9.1 Master（192.168.10.13）

vim /etc/rsyncd.conf
read only = no

kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync

rsync --daemon
netstat -natp | grep rsync

chmod 777 /var/www/html

在这里插入图片描述
在这里插入图片描述

9.2 Slave （192.168.10.14）

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances 
cat /proc/sys/fs/inotify/max_user_watches 

vim /etc/sysctl.conf 

fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 128
fs.inotify.max_user_watches = 8192

sysctl -p

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

yum -y install gcc gcc-c++ 

unzip inotify-tools-3.14.tar.gz.zip
cd inotify-tools-3.14.tar.gz/
mv inotify-tools-3.14.tar.gz /home/
cd /home
cd /opt
rm -rf inotify-tools-3.14.tar.gz
rm -rf inotify-tools-3.14.tar.gz.zip
mv /home/inotify-tools-3.14.tar.gz /opt/

放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt

cd /opt/inotify-tools-3.14/

./configure
make && make install

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/abcd/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/abcd/ backuper@192.168.10.14::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
	if [ $(pgrep rsync | wc -l) -le 0 ] ; then
    	 $RSYNC_CMD
	fi
done

在这里插入图片描述

cd /opt/
chmod +x inotify.sh
给脚本赋权

chmod +x /etc/rc.d/rc.local 
echo "/opt/inotify.sh" >> /etc/rc.d/rc.local 
设置开机自启动

sh -x inotify.sh
执行脚本

cd /opt/abcd
touch Dart.html
rm -rf Dart.html
创建一个新的 html 文件并删除之前的 qwe
ls

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

FBdart
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
rsync远程同步
BWL1998的博客
06-26 209
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。在同步数据的时候，默认情况下，rsync通过其独特的“quick
【Linux】rsync 远程同步
最新发布
h15162064289的博客
07-11 423
rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。
Linux Rsync 远程同步工具
lcyaiym的专栏
08-03 113
欢迎访问我的个人博客网站：http://www.yanmin99.com/ Rsync 1、Rsync介绍 Rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync本来是用以取代rcp的一个工具，它当前由 rsync.samba.org维护。 Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试。此外...
Rsync远程同步配置
weixin_30821731的博客
07-15 124
# rsync服务端配置 # 安装rsync软件包 yum -y install rsync # 生成rsyncd.conf配置文件，具体参数可man rsyncd.conf cat > /etc/rsyncd.conf <<EOF uid=rsync # 用户 gid=rsync ...
Linux rsync远程同步
m0_60655253的博客
11-15 563
rsync命令常用选项 -a：归档模式，递归并保留对象属性，等同于 -rlptgoD -v：显示同步过程的详细（verbose）信息 -z：在传输文件时进行压缩（compress） -H：保留硬连接文件 -A：保留ACL属性信息 --delete：删除目标位置有而原始位置没有的文件 --checksum：根据对象的校验和来决定是否跳过文件 启动服务 rsync --daemon 结束服务 kill $(cat /var/run/rsyncd.pid) &&...
rsync远程同步软件包
04-08
rsync还支持通过SSH（Secure Shell）进行远程同步，例如`rsync -avz user@remote_host:src_path dst_path`，这里的`user`是远程服务器的用户名，`remote_host`是远程服务器的IP或域名，`src_path`和`dst_path`分别是...
CentOS平台实现搭建rsync远程同步服务器的方法
09-15
在本文中，我们将深入探讨如何在CentOS平台上搭建rsync远程同步服务器，以及相关的操作步骤、命令使用和注意事项。rsync是一款强大的数据同步工具，它能够高效地在局域网或广域网上同步多台主机之间的文件，同时支持...
rsync远程同步.doc
04-02
rsync 支持多种工作模式，包括本地同步以及通过 SSH 或 rsync 服务进行远程同步。 配置 rsync 服务源时，你需要创建一个名为 `rsyncd.conf` 的配置文件，用于定义 rsync 服务器的行为。此配置文件通常包含了诸如...
【Linux---远程同步Rsync】01-初识Rsync
qq_52221051的博客
12-04 548
rsync远程同步
linux rsync远程同步+sersync+rsync实现实时同步
weixin_33671935的博客
02-25 161
rsync是什么 rsync全称Remote Sync ，远程同步，是Linux/UNIX系统下的文件同步和数据传输工具，数据备份，它采用了“rsync算法”使一个客户机和远程文件服务器之间的文件同步。 作用 可以将同一个服务器的数据从一个分区备份到另一个分区，也可以将本地系统的数据通过网络传输方式备份到任何一个远程主机上； 优点 rsync可以在中断后恢复传输 rsync的功能特性...
linux：rsync远程同步 -- 理论+实操--报错解决方案
weixin_48191060的博客
10-23 232
rsync远程同步1.1rsync 同步简介2.1 配置rsync源服务器2.2 rsync同步源3.1 配置rsync源4.1 使用rsync备份工具 1.1rsync 同步简介 rsync是一款快速增量备份工具 Remote Sync，远程同步 支持本地复制，或者与其他SSH，rsync主机同步 官方网站：http://rsync.samba.org CentOS7桌面端，已经有这个软件包了 2.1 配置rsync源服务器 2.2 rsync同步源 指备份操作的远程服务器，也称为备份源
rsync-远程同步
bpb_cx的博客
09-10 701
一、rsync 正确、有效的备份方案是保障系统及数据安全的重要手段，在服务器中，通常会结合计划任务，shell脚本来执行本地备份，为了加强备份的可靠性，使用异地备份也是非常有必要的今天我们将要学习的就是异地灾备的其中一种rsync（Remote Sync 远程同步）工具的使用。以实现快速、安全、高效的异地备份，比如构建Web镜像站点等。rsync是一个开源的快速备份工具，可以在不同主机之间镜像同...
Rsync远程同步
aixuedxxg的博客
04-11 1648
一、rsync远程同步 1.rsync简介 rsync是C/S架构的数据镜像备份工具，可以实现全量备份和快速增量备份支持本地复制或ssh、rsync主机同步。 rsync默认端口为 873 rsync特性：可以在不通主机之间镜像同步整个目录树，支持增量备份、保持链接和权限、时间、属性且传输前自动执行压缩、rsync不需要特殊权限即可安装，centos系统默认安装，支持匿名传输，注意发起端要有对应目录位置的读权限 2.rsync的优点 可以保持原来文件的权限，时间，软硬链接等 无需特殊权限
rsync同步工具的两种用法--命令+服务
lijun_work的博客
05-21 215
rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync功能 作为命令，实现本地-远程文件同步 作为服务，实现本地-远程文件同步 rsync特点 可以镜像保存整个目录树和文件系统 可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl
linux rsync 远程,使用rsync命令将备份同步到远程服务器的四个简单步骤
weixin_35884307的博客
05-07 410
使用rsync命令进行远程备份的Bash脚本定期备份重要数据是一个好习惯。它使您可以在需要时还原它。如果系统崩溃，即使您有备份，也将无法根据需要还原备份。那么，克服此问题的最佳解决方案是什么？在这种情况下，远程备份是一个更好的解决方案。Rsync是执行远程备份的出色Linux命令。什么是rsync命令？Rsync代表远程同步。Rsync是一种快速且用途广泛的文件复制工具。它用于快速和增量文件传输。...
【rsync 远程同步】
DiKL_Y的博客
07-05 839
远程同步的配置和实时同步
linux下rsync的同步
bch-q的博客
03-05 734
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步 文件下载地址: 链接：https://pan.baidu.com/s/1tLiY7FwVEeEZo5zSxZ43Aw 提取码：8888 这里简单说下环境,A是部署了机房的服务器,B是空的,需要把A的文件备份到B的服务器 在A服务器下操作 1.解压在/home下 cd /home tar -xzf rsync-3.1.2.tar.gz 2.编译及安装 cd
rsync 远程同步到本地
05-31
要使用 `rsync` 进行远程同步到本地，需要使用以下命令： ```bash rsync -avz -e "ssh -p [port]" [remote_user]@[remote_host]:[remote_directory] [local_directory] ``` 其中，`-a` 表示递归同步文件夹，保留...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值