rsync 远程同步

最新推荐文章于 2024-04-13 09:45:56 发布
最新推荐文章于 2024-04-13 09:45:56 发布
阅读量864 收藏 1
点赞数 1
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lsssss123/article/details/131533577
版权

rsync 远程同步

一、rsync的概念

在这里插入图片描述

rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

二、rsync简介

一款快速增量备份工具

  • Remote Sync，远程同步
  • 支持本地复制，或者与其他SSH、rsync主机同步
  • 官方网站：https://rsync.samba.org
  • 监听端口tcp/udp 873

在这里插入图片描述

三、rsync同步

  • 在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

在这里插入图片描述
下行同步也叫拉取同步

四、配置rsync源服务器

Ⅰ、配置rsync配置文件

rpm -q rsync							#一般系统已默认安装rsync

#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf				#添加以下配置项
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.24.72									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.24.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[csgo]												#共享模块名称
path = /data								#源目录的实际路径
comment = csgo rsync test dir
read only = yes											#是否为只读
auth users = ls								#授权账户，多个账号以空格分隔
secrets file = /root/rsyncd_userlist						#存放账户信息的数据文件

#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件

在这里插入图片描述

Ⅱ、修改文件属性

建立系统用户
在这里插入图片描述
修改文件属性
在这里插入图片描述

Ⅲ、开启rsync服务

#启动 rsync 服务程序
rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

netstat -anpt | grep rsync



#关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

在这里插入图片描述

Ⅳ、rsync实现同步下行数据

基本格式：rsync [选项] 原始位置 目标位置

常用选项：
-r：递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-v：显示同步过程的详细（verbose）信息。
-z：在传输文件时进行压缩（compress）。
-a：归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-p：保留文件的权限标记。
-t：保留文件的时间标记。
-g：保留文件的属组标记（仅超级用户使用）。
-o：保留文件的属主标记（仅超级用户使用）。
-H：保留硬连接文件。
-A：保留 ACL 属性信息。
-D：保留设备文件及其他特殊文件。
--delete：删除目标位置有而原始位置没有的文件。
--checksum：根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

1、同步源服务器文件
在这里插入图片描述

2、需要同步的主机

格式一：
rsync -avz ls@192.168.24.72::csgo  /opt/test/					#密码abc123

在这里插入图片描述

3、同步源文件数据修改
在这里插入图片描述

4、需要同步的主机

格式二：
rsync -avz rsync://ls@192.168.24.72/csgo /opt/test/


--delete 可以实现与源主机减同步

在这里插入图片描述

Ⅴ、实现免密交互

1、源主机数据
在这里插入图片描述

2、将密码放置在一个文件中
在这里插入图片描述

3、需要同步的主机实现免密交互
在这里插入图片描述

Ⅵ、rsync实现同步上行数据

1、

在这里插入图片描述

2、配置文件修改为可读可写

在这里插入图片描述

3、需要上传目录的权限修改

在这里插入图片描述

4、重启rsync服务

#关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

rsync --daemon	#启动 rsync 服务

在这里插入图片描述

5、上传数据到目标主机

格式：
rsync -avz /本机要上传的数据路径 授权用户@目标主机IP::共享数据模块

在这里插入图片描述
在这里插入图片描述

Ⅶ、使用rsync+ssh灵活同步数据

1、同步数据到本机

格式:
rsync -avz -e 'ssh -p 22' root@192.168.24.72:/需要同步数据的目录文件路径  /同步到本地的目录路径

在这里插入图片描述

2、上传数据给目标主机
在这里插入图片描述

rsync -avz -e 'ssh -p 22' /需要传输数据的目录路径 root@192.168.24.72:/传输到目标主机的文件路径

在这里插入图片描述
在这里插入图片描述

3、上传目录/文件的区别

在上传的目录后面“加/”和“不加/”

在这里插入图片描述
在这里插入图片描述

五、rsync+inotify

  • 使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

  • 将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。
    因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

配置rsync+inotify

Ⅰ、修改rsync源服务器配置文件

在这里插入代码片1．修改rsync源服务器配置文件
vim /etc/rsyncd.conf
......
read only = no											#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

chmod 777 /data

Ⅱ、调整 inotify 内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：

  • max_queue_events（监控事件队列，默认值为16384）
  • max_user_instances（最多监控实例数，默认值为128）
  • max_user_watches（每个实例最多监控文件数，默认值为8192）。
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Ⅲ、安装 inotify-tools

  • 用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。

  • inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。

  • inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

tar zxvf inotify-tools-3.14.tar.gz -C /opt/

cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述

Ⅳ、执行inotifywait命令

#可以先执行“inotifywait”命令，然后另外再开启一个新终端向 /data 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /data

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

在这里插入图片描述

Ⅴ、测试

在一台虚拟机上执行：开两个终端

1、第一台
在这里插入图片描述
2、第二台
在这里插入图片描述

Ⅶ、使用脚本触发同步

  • 注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效
vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /data"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /data ls@192.168.24.72::csgo/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
	#如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done


chmod +x /opt/inotify.sh
chmod 777 /data
chmod +x /etc/rc.d/rc.local

在这里插入图片描述
当第一台终端对data目录下的数据进行操作时，第二台终端会自动同步

1、两台终端都没有数据内容
在这里插入图片描述
2、在一台终端上的data目录下执行操作
在这里插入图片描述

3、在另一台终端上的data目录下查看
在这里插入图片描述

六，rsync删除

  • 使用rsync来实现快速删除大量文件。
    假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。
  • rsync实际用的是替换原理。

Ⅰ、先建立一个空的文件夹

mkdir /opt/kong

Ⅱ、模拟大量文件

touch file{1..1000}

在这里插入图片描述

Ⅲ、用rsync删除目标目录文件

rsync -a --delete /一个空目录/ /需要清空的目录/
rsync -a --delete /opt/kong/ /opt/test/

在这里插入图片描述

选项说明：

--delete-before 接收者在传输进行删除操作
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态
超级驼鹿️
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
rsync远程同步软件包
04-08
rsync远程同步软件包
rsync远程同步
02-15
rsync远程同步
Linux基础服务5——rsync
百慕卿君博客
06-27 4355
rsync文件同步
rsync远程同步实现快速、安全、高效的异地备份
最新发布
dzqxwzoe的博客
04-13 1562
rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。rsync软件支持跨平台，适用于unix/ linux/windows等多种操作系统平台rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制以其delta-transfer算法闻名。rsync监听端口:873。
一招解决文件同步问题：rsync用法详解
创意程序员的博客
10-26 3283
导语：在工作和生活中，我们经常需要将文件从一个地方复制到另一个地方。传统的复制方法费时费力，而今天我们要介绍的 rsync 命令则可以轻松解决这个问题。本文将详细介绍 rsync 的用法，让你轻松掌握文件同步的技巧。
rsync数据同步操作
qq_15247809的博客
01-17 1881
rsync是Linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，与其他SSH、rsync主机同步数据。
rsync 同步文件
小单的博客专栏
06-17 5818
rsync 同步文件
rsync 备份工具(附rsync+inotify 实时同步部署实例）
m0_62231324的博客
10-15 281
Rsync ( Remote sync)是一个远程数据同步工具，一款快速增量备份工具，使用于unix/Linux/windows等多种平台。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。运行 Rsync server 的机器也叫 backup server，一个 Rsync server 可同时备份多个 client 的数据；也可以多个Rsync server 备份一个 client 的数据。
CentOS平台实现搭建rsync远程同步服务器的方法
09-15
在本文中，我们将深入探讨如何在CentOS平台上搭建rsync远程同步服务器，以及相关的操作步骤、命令使用和注意事项。rsync是一款强大的数据同步工具，它能够高效地在局域网或广域网上同步多台主机之间的文件，同时支持...
rsync远程同步.doc
04-02
rsync 支持多种工作模式，包括本地同步以及通过 SSH 或 rsync 服务进行远程同步。 配置 rsync 服务源时，你需要创建一个名为 `rsyncd.conf` 的配置文件，用于定义 rsync 服务器的行为。此配置文件通常包含了诸如...
配置rsync daemon模式进行同步文件或目录
sym的博客
05-15 2004
rsync简述 rsync 是一个常用的 Linux 应用程序，用于文件同步。 它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件（但不支持两台远程计算机之间的同步）。它也可以当作文件复制工具，替代cp和mv命令。 使用场景：打包服务器编译成功后，将相关文件移动到部署服务器上。 Ubuntu系统默认已经安装有rsync，因此可以直接使用rsync命令将同一台机器或者不同机器之间的目录或文件进行同步，这种方式使用起来就相对比较简单，只需要了解rsync的命令参数即可。 而使用daemon守护进程
svn + rsync 简单同步代码
lzm228的博客
10-27 558
IP地址 功能 同步机制 192.168.1.101 Svn代码库 Svn服务器，rsync客户端 192.168.3.222 web服务器 rsync服务端 192.168.28.228 开发机 Svn客户端 Rsync服务器 安装rsync 开启端口873（默认） 写secrets file 服务器版本格式：name:pass 文件内容参考： rsync:asdf123 写 rsync配置文件 rsyncd.conf，文件权限必须设为600，chmod 600 rsy...
windows之间利用CwRsyanc同步
weixin_34143774的博客
01-07 214
2019独角兽企业重金招聘Python工程师标准>>> ...
多机部署之使用rsync+inotify实时双向同步代码
Web开发
12-21 3504
本文已在本人博客https://www.nsxsg.com/archives/87首发 文章目录多机部署之使用rsync+inotify实时双向同步代码 多机部署之使用rsync+inotify实时双向同步代码 rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rs...
vscode rsync 同步代码
heroacool的专栏
03-10 1263
背景： 本地电脑A可以链接gitlab，远程的服务器B不能连接gitlab，需要在B上开发，和运行程序。 办法： 使用vscode rsync 将代码从本地A上同步到B，B上开发好后，在A上将代码同步到本地，然后提交到gitlab. 在.vscode目录下的setting.json中加入如下字段 “sync-rsync.exclude”: [ “.git”, “.vscode”, “.ccls-cache”, “bin/”, “build/”, “lib/”, “log/”, “.gitignore
rsync 远程同步到本地
05-31
要使用 `rsync` 进行远程同步到本地，需要使用以下命令： ```bash rsync -avz -e "ssh -p [port]" [remote_user]@[remote_host]:[remote_directory] [local_directory] ``` 其中，`-a` 表示递归同步文件夹，保留文件属性，`-v` 表示输出详细信息，`-z` 表示启用压缩传输，`-e` 表示指定使用的传输协议，这里使用 `ssh`，`[port]` 需要替换成远程主机的 SSH 端口号，`[remote_user]` 和 `[remote_host]` 分别替换成远程主机的用户名和地址，`[remote_directory]` 是需要同步的远程目录，`[local_directory]` 是同步到本地的目录。 举个例子，如果需要从远程主机 `example.com` 的 `/home/user/data` 目录同步到本地的 `/data/backup` 目录，可以使用以下命令： ```bash rsync -avz -e "ssh -p 22" user@example.com:/home/user/data /data/backup ``` 这里假设远程主机的 SSH 端口号为 22，用户名为 `user`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值