rsync 备份工具(附rsync+inotify 实时同步部署实例）

最新推荐文章于 2024-04-08 16:34:03 发布
最新推荐文章于 2024-04-08 16:34:03 发布
阅读量281 收藏
点赞数 1
文章标签： 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62231324/article/details/133826932
版权

rsync 备份工具(附rsync+inotify 实时同步部署实例）

1、rsync概述

1.1关于rsync

Rsync ( Remote sync)是一个远程数据同步工具，一款快速增量备份工具，使用于unix/Linux/windows等多种平台。

Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

运行 Rsync server 的机器也叫 backup server，一个 Rsync server 可同时备份多个 client 的数据；也可以多个Rsync server 备份一个 client 的数据。

Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。

Rsync server 会打开一个873的服务通道（port），等待对方 Rsync 连接。
连接时，Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。

第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。

官方网站: http://rsync.samba.org

1.2rsync 的特点

  • 可以镜像保存整个目录树和文件系统；
  • 可以很容易做到保持原来文件的权限、时间、软硬链接等；
  • 无须特殊权限即可安装；
  • 优化的流程，文件传输效率高；
  • 可以使用 rcp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；
  • 支持匿名传输。

1.3工作原理

在这里插入图片描述
在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为rsync同步源。

首先服务器B（发起源）向服务器A（同步源）进行数据备份，将自己的数据备份到服务器A中。

当服务器B中的数据遭到损失或者增量的时候，都会从服务器A中进行数据同步。

服务器B数据丢失则从服务器A中同步数据丢失的部分。

当服务器B数据增多了，就会再次向服务器A进行数据备份，但是备份的不是完整备份，而是增量备份，即备份同步源中没有的数据。

2、rsync相关命令

2.1基本格式和常用选项

#基本格式
rsync [选项] 原始位置 目标位置

在这里插入图片描述

2.2启动和关闭rsync服务

  • 启动服务
//启动 rsync 服务，以独立监听服务的方式（守护进程）运行 
rsync --daemon
  • 关闭服务
//关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

2.3下行同步基本格式

从源服务器拉数据

rsync [选项] 源服务器位置 本地位置

##举个例子#
#格式一
rsync -avz test@192.168.2.102::message /opt/					

#格式二
rsync -avz rsync://test@192.168.2.102/message /opt/

#test为配置文件中的授权账户
#IP地址为同步源地址
#message 为配置文件中定义的共享模块

2.4上行同步基本格式

推数据到源服务器

rsync [选项] 本地位置 源服务器位置

2.5免交互

2.5.1指定密码文件

echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass

2.5.2rsync-daemon方式

rsync -avz --delete --password-file=/opt/userlist yiliangchen@192.168.80.30::wwwky31  /opt/data/          #rsync-daemon方式

2.5.3rsync-ssh方式

rsync -avz --delete -e 'sshpass -p abc1234 ssh -p 22' /etc/yum.repos.d root@192.168.80.20:/opt/data       #rsync-ssh方式

2.6定期同步

结合crontab计划任务，可以实现定期同步。

#举个例子 
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.80.10::wwwroot /opt/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。
#在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

systemctl restart crond
systemctl enable crond

3、部署rsync定期同步

3.1配置rsync源服务器（节点1）

yum install -y rsync
//安装rsync服务

在这里插入图片描述

rpm -qc rsync		//查看rsync配置文件位置

#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf	//添加以下配置项

uid = root
gid = root
use chroot = yes		#禁锢在源目录
max connections = 4
address = 192.168.190.100	#监听地址
port = 873	#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log	#日志文件位置
pid file = /var/run/rsyncd.pid	#存放进程 ID 的文件位置
hosts allow = 192.168.190.0/24	#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]			#共享模块名称
path = /var/www/html			   #源目录的实际路径
comment = document Root of www
read only = no		#是否为只读
auth users = fsj	#授权账户，多个账号以空格分隔
secrets file = /opt/rsyncd_userlist#存放账户信息的数据文件
#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件

在这里插入图片描述
在这里插入图片描述

vim /opt/rsyncd_userlist
fsj:abc123  #无须建立同名系统用户

在这里插入图片描述

chmod 600 /etc/rsyncd_users.db

在这里插入图片描述

mkdir -p /var/www/html  //创建文件夹

rsync --daemon		#启动 rsync 服务，以独立监听服务的方式（守护进程）运行

在这里插入图片描述

netstat -anpt | grep rsync

在这里插入图片描述

cd /var/www/html

cp /etc/fatab ./

在这里插入图片描述

3.2发起端（节点2）

yum install -y rsync
//安装rsync服务

在这里插入图片描述

启动 rsync 服务程序
rsync --daemon		
#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

netstat -anpt | grep rsync

在这里插入图片描述

cd /opt  //切换到opt目录
ls
mkdir data //在opt目录下创建data目录
cd data  //切换到data目录
ls

在这里插入图片描述

#将指定的资源下载到本地/opt 目录下进行备份。
格式一：
rsync -avz fsj@192.168.190.100::wwwky31 /opt/data	#密码abc123

在这里插入图片描述

格式二：
rsync -avz rsync://fsj@192.168.190.100/wwwky31 /opt/data

在这里插入图片描述

免交互格式配置：
echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass

在这里插入图片描述

rsync -avz --delete --password-file=/opt/rsync_passwd fsj@192.168.190.100::wwwky31 /opt/data

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3发起端配置 rsync+inotify

使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。
因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

修改rsync源服务器配置文件
vim /etc/rsyncd.conf
......
read only = no											#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

chmod 777 /var/www/html/

调整 inotify 内核参数
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

在这里插入图片描述

安装 inotify-tools 用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

cd /opt
tar zxvf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述
在这里插入图片描述

然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /var/www/html

在这里插入图片描述
在这里插入图片描述

在另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）

yum install -y rsync
//安装rsync服务

在这里插入图片描述

cd /opt
tar zxvf inotify-tools-3.14.tar.gz 
cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述

vim inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/opt/rsync_passwd /vopt/data/fsj@192.168.190.100::wwwky31/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
	#如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done

在这里插入图片描述

chmod +x inotify.sh

在这里插入图片描述

echo admin123 > /opt/rsync_passwd
chmod 600 /opt/rsync_passwd

在这里插入图片描述
在这里插入图片描述

4、使用rsync快速删除大量文件

使用rm -rf *删除大量文件时，效率较低。

此时，利用rsync的替换原理，结合–delete选项，可以实现快速删除大量文件，比如服务的缓存。

小冯同学。
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
rsync下行同步+inotify实时同步部署（图文详解）
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
03-02 2806
文章目录一、rsync简介二、rsync同步源三、配置rsync源四、rsync命令五、配置源的两种表达方式六、inotify简介七、配置rsync下行同步==1、Master（192.168.184.10）====2、Slave（192.168.184.20）==八、rsync+inotify实时同步==1、Master（192.168.184.10）====2、Slave（192.168.184.20）== 一、rsync简介 一款快速增量备份工具 Remote Sync，远程同步 支持本地复制，或者
通过rsync+inotify实现文件的实时备份同步
zhanjianshinian的专栏
02-04 1369
原文参考：http://ixdba.blog.51cto.com/2895551/580280/ http://www.bamaol.com/Psy/Showposts-010000108-5048.html 一，rsync安装 目前rsync的最新版本是3.0.9 wget http://rsync.samba.org/ftp/rsync/
数据备份系列：Rsync 备份实战记录（一）
予挚之的博客
04-28 2100
rsync特性： 支持拷贝特殊文件，如连接文件、设备等。 可以有排除指定文件或目录同步的功能，相当于打包命令 tar 的排除功能。 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变（参数：–p）。 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar -N）。 可以使用 scp、rsh、ssh 等方式来配合传输文件（rsync 本身不对数据加密）。 可以通过 socket（进程方式）传输文件和数据（服务端和客户端）。 支持匿名的活认证（无需系统用户）的进程模式传输
linux rsync的安装与配置
01-20
1.安装：yum -y install rsync 2.vim /etc/xinetd.d/rsync 代码如下:service rsync{disable = nosocket_type = streamwait = nouser = rootserver = /usr/bin/rsyncserver_args = –daemonlog_on_failure += USERID} 3.vim /etc/rsyncd.conf（这个文件是手动创建，默认没有） uid = nobody # 备份以什么身份进行，用户IDgid = nobody # 备份以什么身份进行，组ID#注意这个用户ID和
Rsync——远程同步命令
最新发布
一坨小橙子的博客
04-08 1031
Rsync概述、Rsync语法构成、配置客户端与服务端（上传与下载）
rsync安装及使用详细步骤
pengpeng0121的博客
06-14 5130
备份数据、同步文件、远程协作等。
rsync远程同步
m0_71931851的博客
11-15 1846
rsync远程同步
使用 Rsync 实现远程同步，以及实时同步
愿许浪尽天涯的博客
09-24 6949
Rsync 全称为：Remote Sync（远程同步），是一款开源的快速备份工具，可以在不同主机间镜像同步整个目录树，支持增量备份，保持链接和权限，采用优化的同步算法，传输前执行压缩，适用于异地备份，镜像服务器等应用。
centos7_rsync安装部署配置
qq_38255759的博客
04-18 6362
#安装rsync服务 yum install -y rsync #配置rsync配置文件 vim /etc/rsyncd.conf #修改rsync配置文件 ##全局配置 uid = rsync #用户 gid = rsync #用户组 use chroot = no ...
rsync+inotify实时同步
06-24
rsync+inotify实时同步实践，亲测试成功，有需要的朋友可以拿走！
rsync + inotify实时同步项目详细笔记实战案例
07-02
本文档记录了使用 rsync 和 inotify 实现实时同步项目的详细笔记实战案例。rsync 是一个功能强大的文件同步工具，而 inotify 是一种 Linux 内核提供的文件系统事件侦听机制。通过将这两种技术结合使用，可以实现实时...
通过rsync+inotify实现数据的实时备份配置
09-15
【rsync+inotify 实现数据实时备份配置】 在IT领域，数据安全是至关重要的，尤其是在大规模的应用系统中。rsync作为一种高效的数据同步工具，它能够实现数据的镜像和备份，但面对需要实时同步的需求时，rsync的效率...
rsync+inotify实现服务器之间文件实时同步
03-09
rsync+inotify是一种实现服务器之间文件实时同步的解决方案，该方案可以实时监控文件系统的变化，并将变化同步到备份服务器中，保障数据的一致性和实时性。 rsync是一种文件同步工具，可以实现触发式的文件同步，但...
Rsync远程同步
Hard work results, technology is willing to dream
04-04 4624
rsync远程同步
rsync 远程同步
Lsssss123的博客
07-05 860
一款快速增量备份工具Remote Sync，远程同步支持本地复制，或者与其他SSH、rsync主机同步官方网站：https://rsync.samba.org监听端口tcp/udp 873。
【Linux】Rsync远程同步及备份工具（Rsync简介、Rsync安装、rsync认证方式）
Linux小白一只~正处于学习阶段，觉得我写的还好的请多多给我点赞呀,谢谢大家！！(๑＞ڡ＜)☆
02-10 2532
rsync特性、Rsync的工作原理、rsyncyum方式安装(推荐)、rsync-daemon 认证、ssh认证
rsync远程同步:上行同步、下行同步+inotify实时同步部署
ll945608651的博客
05-22 2419
①.rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。②.rsync软件适用于unix/linux/windows等多种操作系统平台③.rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制④.以其delta-transfer算法闻名。⑤.rsync监听端口：873。
rsync服务安装
07-09 1082
一、 rsync 介绍 rsync 是一款开源的数据备份工具，（官网 rsync ） 可以实现远程全备份及增量备份，也可以本地备份，今天主要讲远程备份。 二、使用场景 我有一个服务器，上面运行着网站（古黑论），我需要把这个服务器上的数据备份到另一台服务器上。如果你问我为什么要备份，那我无话可说...为了更好的理解 rsync 的备份过程，我把网站服务器称为“本机”，备份的服务器称为“备机”。 备份数据是从本机 >> 到备机的，所以备机上要监听 rsync 端口，就像学校保安大叔一样天天在校门口守住，
rsync安装和使用
西京刀客
06-23 6204
文章目录rsync 快速开始什么是rsync安装使用-r 参数-a 参数-n 参数--delete 参数排除文件--exclude 参数远程同步SSH 协议rsync 协议增量备份配置项参考 rsync 快速开始 官网：https://rsync.samba.org/ 什么是rsync rsync 是一个常用的 Linux 应用程序，用于文件同步。 它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件（但不支持两台远程计算机之间的同步）。它也可以当作文件复制工具，替代cp和mv命令。 它名称里面

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值