Rsync远程同步及inotify自主监控

最新推荐文章于 2023-08-01 01:38:58 发布
最新推荐文章于 2023-08-01 01:38:58 发布
阅读量109 收藏
点赞数
文章标签： Rsync inotify
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50344820/article/details/112001977
版权

文章目录

一、rsync服务基本介绍

1.1 Rync服务器

  • Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。Rsync软件适用于unix/linux/windows等多种操作系统平台。
  • Rsync是一个快速rsync监听端口：873和非常通用的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制。它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制。它以其delta-transfer算法闻名。
  • rsync监听端口：873
  • rsync运行模式：C/S

1.2 全量备份与增量备份

1.2.1 全量备份

  • 所有数据全部传送
  • 把原来的文件和新的文件一起统一传送
  • 全量复制，效率低

假设客户端上有 file1 file2 file3 文件，服务端上有 file1 文件，现要将客户端上的数据备份至服务端

  • 完全备份方式：
    在这里插入图片描述

1.2.2 增量备份

  • 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输
  • 增量复制，效率较高

假设客户端上有 file1 file2 file3 文件，服务端上有 file1 文件，现要将客户端上的数据备份至服务端

  • 增量备份方式：
    在这里插入图片描述

二、rsync参数及部署

2.1 rsync命令参数

-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代 rsh 的 shell 程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--partial #断点续传
--delete #让目标目录和源目录数据保持一致

2.2 rsync守护进程部署

修改rsync主配置文件/etc/rsync.conf

[root@server1 ~]# vi /etc/rsyncd.conf

uid = nobody	# 匿名 删除前面的注释
gid = nobody	# 匿名 删除前面的注释
use chroot = yes		# 不锁定宿主目录，删除前面的注释
max connections = 200		# 后台最大连接数，删除注释
pid file = /var/run/rsyncd.pid		# 删除注释
log file = /vsr/log/rsync.log		# 后添加日志目录
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2		# 指定一些固定结尾的文件不压缩
hosts allow = 192.168.10.0/24
address = 192.168.10.11
port 873

[wwwroot]	# 复制目录修改内容，及以下内容
    path = /www		# 目录位置
    comment = web site page		# 目录描述
    read only =yes		# 权限为只读
    auth users = zhangsan		# 授权账户名
    secrets file = /etc/user.db	# 账户信息存储位置（用户数据文件）

设置账户信息

[root@server1 ~]# vi /etc/user.db
	zhangsan:123456
[root@server1 ~]# chmod 600 /etc/user.db
[root@server1 ~]# rsync --daemon
[root@server1 ~]# netstat -anpt | grep 873
tcp        0      0 192.168.10.11:873       0.0.0.0:*               LISTEN      61088/rsync

2.3 验证

  1. 方式一：
    创建/www目录，在目录下面创建新文件。其他目录访问不成功。
    在这里插入图片描述进入客户机备份数据：

    [root@server2 opt]# rsync -azv zhangsan@192.168.10.11::wwwroot /opt
    在这里插入图片描述

  2. 方式二：

     [root@server2 ~]# rsync -azv rsync://zhangsan@192.168.10.11/wwwroot /bak

在这里插入图片描述

  1. 方式三：免交互

     [root@server2 ~]# rsync -azv --password-file=/root/password rsync://zhangsan@192.168.10.11/wwwroot /bak2

在这里插入图片描述获取信息成功

2.4 rsync实时同步

2.4.1 定期同步的不足

  • 执行备份的时间固定，延迟明显、实时性差
  • 当同步源长期不变化时，密集的定期任务是不必要的

2.4.2 实时同步的优点

  • 一旦同步源出现变化，立即启动备份
  • 只要同步源无变化，则不执行备份

三、案例

3.1 全量备份

mkdir aa
cd aa
touch a b c
rsync -azv /root/aa /opt		# 备份目录下的文件

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201231091746505.png?x- oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MDM0NDgyMA==,size_16,color_FFFFFF,t_70)

rsync -azv /root/aa/ /opt		# 备份该目录及目录下文件

在这里插入图片描述

3.2 增量备份

[root@server1 aa]# touch d
[root@server1 aa]# rsync -azv /root/aa /opt

在这里插入图片描述

3.3 异地的备份

[root@server1 ~]# rsync -zva /root/aa/ root@192.168.10.12:/opt
在这里插入图片描述进入客户端2查看相关目录下文件

在这里插入图片描述

3.4 代替删除（相当于全覆盖）

[root@server1 ~]# mkdir /bb
[root@server1 ~]# echo "bbbbbbb" > /bb/11
[root@server1 ~]# cat /bb/11
bbbbbbb
[root@server1 ~]# rsync -avz --delete /bb/ root@192.168.10.12:/opt

在这里插入图片描述
进客户机2查看信息，发现原文件及目录被删除，只剩下新备份的文件
在这里插入图片描述

3.5 远程数据备份

rsync下拉操作
在客户机2上面直接备份1上面的数据：
[root@server2 opt]# rsync -azv root@192.168.10.11:/root/aa/ /opt

在这里插入图片描述

四、关于inotify

4.1 Linux内核的inotify机制

  • 从版本2.6.13开始提供
  • 可以监控文件系统的变动情况，并做出通知响应
  • 辅助软件: inotify-tools

4.2 调整inotify内核参数

  • max_queue_events:监控事件队列大小
  • max_user_instances:最多监控实例数
  • max user watches:每个实例最多监控文件数

4.3 安装inotify-tools辅助工具

  • inotifywait:用于持续监控，实时输出结果
  • inotifywatch:用于短期监控，任务完成后再出结果

4.4 inotify命令

命令描述
#m持续监听
#-r使用递归形式监视目录
#-q减少冗余信息,只打印出需要的信息
#-e指定要监视的事件，多个时间使用逗号隔开

4.5 对于inotify监控调整内核参数

[root@server2 html]# vi /etc/sysctl.conf 
//添加以下
fs.inotify.max_queued_events = 16384	#监控事件的最大队列数
fs.inotify.max_user_instances = 1024#	#监控最大实例数
fs.inotify.max_user_watches = 104876	#监控每个实例的最大文件数
[root@server2 html]# sysctl -p	# 写入系统内存

在这里插入图片描述

4.6 rsync+inotify

需要分清客户端与服务器上面配置的差异；

客户端服务器
rsync关闭状态rsync开启状态
netstat -anptgrep 873无返回值
pgrep rsync无返回值pgrep rsync有返回值

  • 服务器上面的配置：
    rsync配置文件中需要关闭只读选项，即可以修改目录。

      vi /etc/rsync.conf
  [wwwroot]
    path = /var/www/html
    comment = web site page
    read only = no
      auth users = zhangsan
     secrets file = /etc/user.db

对应的/etc/user.db文件也应该是有对应内容及权限为600。
在这里插入图片描述

  • 客户端的配置：

导入并解包inotify-tools-3.14.tar.gz

[root@server2 ~]# tar zxvf inotify-tools-3.14.tar.gz
[root@server2 ~]# cd inotify-tools-3.14/
[root@server2 inotify-tools-3.14]# ./configure && make && make install

配置自动检测脚本

[root@server1 ~]# vi /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e 	modify,create,delete,move /var/www/html"
RSYNC_CMD="rsync -avz --delete --password-file=/root/password /var/www/html/ zhangsan@192.168.10.12::wwwroot"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
  if [ $(pgrep rsync | wc -l) -le 0 ]
  then $RSYNC_CMD
  fi
done

另外需要在根目录下设置免交互密码

vi password
123456

运行程序即可

sh /opt/inotify.sh

然后可以新开一个客户端窗口，在目录/var/www/html/目录下新建一个网页文本，脚本就会自动检测并执行同步到服务器端，形成同步。

在这里插入图片描述

ZhulongQ
关注
rsync远程同步和inotify监控
sjc090132的博客
10-09 175
rsync远程同步和inotify监控触发
rsync远程同步+inotify监控
m0_71521555的博客
10-07 217
rsync远程同步
GIT安装使用 及 实现web文件随代码提交而自动更新发布
onebird_lmx的博客
09-14 335
1、备用下载 GIT的官方地址下载太慢，自己在csdn放了一个包含 git 及 tortoisegit 及 相关汉化包的文件备用： https://download.csdn.net/download/onebird_lmx/10516818 2、保存文件不能过多 GIT 不能文件太多，我尝试23W的文件加入版本库，每次操作都要等。。等。。 等。。。，后来就放弃了，最终还是仅仅对代码部分进行提交，其他配套文件就只能忽略了 3、在centos中安装 git服务器 1） 先 yum 安装 git： yum in
***git 本地提交后如果让服务器上的GIT 自动更新拉取
weixin_33720452的博客
03-01 186
Q: 最近配了个服务器，用的GIT，本地提交后服务器必须再拉取一下才能更新出来。。求个提交后自动更新的方法 A: 最佳工具 git hook  post-update.sample 改名为post-update 然后加几行简单的代码就能实现你的需求了 例： gitdir=/**** cd $gitdir git checkout 对应分支 git pull end... -...
jenkins触发gitlab钩子实现提交代码自动更新
09-27 990
jenkins触发gitlab钩子实现提交代码自动更新 1.首先gitlab/jenkins安装部署已经完成 2.jenkins安装插件，gitlab/Gitlab Hook已完成。 3.jenkins创建流水线 4.获取git_id方式： 5.复制上面的git信息即可。 node { stage('git代码拉取') { git credentialsId: '9771231-2c8a-4229-8844-bcb4a50606d2', url: 'http://192.
gitlab实现提交后线上自动更新代码
chengkangmei9268的博客
04-11 908
环境要求:自建的gitlab,php.ini的disabled_functions 中取消shell_exec 实现原理:跟svn的钩子类似,特定的事件git会自动触发相应的脚本.目标脚本进行相关命令执行即可. 方法: 第一步:在gitlab的repo中设置相关参数.如果有多个分支可以设...
php实现 git推送后服务端自动更新
BookNoteY的博客
07-06 330
实现思路 1.在仓库管理中，配置监听push 事件，写入推送地址 2.服务器端写服务脚本，验证身份后执行脚本推送端 gitea 服务器端 php php脚本如下 $req = json_decode(file_get_contents('php://input'),1); if($req['secret'] == '123456'){ //验证身份 $name = $req['repository']['name']; $branch = explode('/',.
rsync远程同步+inotify实时同步部署
最新发布
2301_77369997的博客
08-01 941
Rsync（Remote Sync）是一个功能丰富、快速和灵活的文件复制和同步工具。它以增量复制的方式工作，能够仅复制源和目标之间发生变化的文件或部分文件，从而减少了数据传输的时间和网络带宽的消耗。Rsync 使用一个特殊的算法来识别文件的差异，并仅传输发生变化的部分，以实现高效的文件同步和备份。它还支持多种模式和选项，使其非常适应各种不同的应用场景。① rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。
rsync+inotify远程同步
weixin_67582338的博客
07-06 1862
目录前言一、Rsync 远程同步1.1 rsync 介绍1.2 rsync 同步方式1.3 rsync特性1.4 rsync与cp、scp对比1.5 rsync实时同步二、rsync 命令2.1 命令格式2.2 常用的参数2.3 rsync本地复制实例2.4 配置源的两种表示方法三、配置 Rsync 源服务器3.1 rsync 同步源3.2 配置 Rsync 下行同步3.2.1 配置环境3.2.2 将 server 服务器数据备份到 client 服务器 3.2.3 客户端
rsync远程同步+inotify
CSDN著名博主
11-02 215
rsync远程同步一、rsync同步简介1.1、关于rsync二、配置rsync备份源2.1、配置rsync源服务器2.2、配置rsync源三、rsync命令基本用法3.1、使用rsync备份工具四、rsync备份操作示例五、rsync+inotify结合使用 一、rsync同步简介 1.1、关于rsync ■ 一款增量备份工具 Remote Sync，远程同步 支持本地复制，或者与其他SSH、rsync主机同步 官方网站: http://rsync.samba.org 二、配置rsync备份源 2.
git服务器自动更新,搭建git服务器并自动更新代码
weixin_42393272的博客
07-30 876
1. git 服务器搭建# 安装gitsudo yum install git# 创建一个git用户运行git服务sudo adduser git# 创建证书登录,将其他机器id_rsa.pub文件里的内容导入到/home/git/.ssh/authorized_keys# 初始化仓库,假定当前目录 /srvsudo git init --bare sample.git# 更改ownersudo ...
git push之后服务器如何自动更新?
SH'S BLOG
02-07 1032
在我们开发的过程中,我的开发流程一般都是 说明 本地 -> git push -> 服务器 -> git pull -> npm i -> yarn build 那么我们能不能去监听 git push 呢? 如果我们每次push之后,服务器可以自动的去执行上面的后面的命令岂不是很好 第一种方式 使用 travis-ci.org -> 官网 他的作用就是我们每次p...
搭建Git服务器/Centos服务器git升级/git上传服务器自动同步
qq_34629975的博客
12-21 564
准备工作：  centos 是自带git 的； 但是版本太低，可能在后面的工作中会遇到一些异常，所以： yum -y remove git #卸载git yum -y groupinstall Development tools yum install gcc perl-ExtUtils-MakeMaker ========进入/usr/local/src 目录，升级安装
CentOS 7 搭建 Git 实现代码自动同步/自动部署
weixin_34361881的博客
04-03 991
2019独角兽企业重金招聘Python工程师标准>>> ...
使用git hooks钩子实现gitlab的代码服务器自动更新
༺墨༒眉༻
12-31 4323
实现钩子自动触发流程图： 因为不是直接走的服务器的远程库所以不能直接使用git hooks触发，需要一个裸库做跳板。 原理，当本地提交Git库B的代码到远程gitlab库的时候，同时提交本地git库A的代码到服务器端git库A触发hooks钩子，服务器端触发脚本进入到git库B中进行git pull代码的操作，以至于实现服务器端自动更新gitlab的功能。 一：服务器端操作 1、把服务........................
Linux Git代码提交自动更新到web目录
曾阿牛的博客
07-31 1462
1.初始化web目录文件 git init test git remote add origin~/repos/BRIDGE_REPO.git #添加远程仓库,你的仓库位置 git fetch git checkout master #检出主分支 2.在git远端仓库的hooks目录下新建post-rece...
git 上传更新的代码到服务器
失忆蝴蝶
01-13 1万+
一、从git仓库打开 git bash 命令输入框。查看本地分支文件信息，确保更新时不产生冲突 二、将当前工作目录中更改或者新增的文件加入到Git的索引中，加入到Git的索引中就表示记入了版本历史中，这也是提交之前所需要执行的一步 三、提交当前工作目录的修改内容。  直接调用git commit命令，会提示填写注释。通过如下方式在命令行就填写提交注释：git commit -
服务器自动部署项目之GitHooks神器
热门推荐
WSYW126的博客
08-09 2万+
背景描述在刚开始用git的时候，每次都是将本地将代码push到远程仓库，然后再ssh到服务器上git pull，甚是麻烦。
提交代码到远程GIT仓库，代码自动同步到远程服务器上。
weixin_34240520的博客
01-17 2254
现在一般都会通过github，gitlab，gitee来管理我们的代码。我们希望只要我本地push了代码，远程服务器能自动拉取git仓库的代码，进行同步。 这就需要用到各仓库为我们提供的webhooks了，每当有push操作时，仓库就会调用我们设置的脚本，通过在脚本里我们运行命令来手动拉取代码。 这里以gitee为例 一、首先我们在gitee创建一个项目   二、确保我们服务器上安装...
rsync+inotify 实时备份与同步教程
inotify的使用主要在于实时监控文件系统变化，配合rsync实现动态同步。当源主机上的"data"目录有文件或目录更改时，inotify会实时检测到这些变化，并通过rsync将新内容推送到目的主机。 总结来说，本文提供了一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值