rsync下行同步+inotify实时同步部署

最新推荐文章于 2024-09-23 18:24:52 发布
最新推荐文章于 2024-09-23 18:24:52 发布
阅读量952 收藏 2
点赞数
分类专栏： Linux Mysql redis 文章标签： 服务器 linux redis 运维 rsync
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oyyy3/article/details/121903546
版权
Linux 同时被 3 个专栏收录
84 篇文章 5 订阅
订阅专栏
Mysql
18 篇文章 0 订阅
订阅专栏
redis
4 篇文章 0 订阅
订阅专栏

目录

一.rsync

1.rsync简介

2.rsync服务器

3.同步方式

4.rsync命令

5.配置源的两种方法

二.本地复制操作（下行复制）

1.master:192.168.68.200

2.client:192.168.68.30

三.inotify介绍

四.resync+inotify实施同步操作

1.master:192.168.68.200

2.client:192.168.68.30

3.master:192.168.68.200验证

4.client:192.168.68.30

5.master:192.168.68.200

一.rsync

1.rsync简介

一款快速增量备份工具

  • Remote Sync，远程同步

  • 支持本地复制，或者与其他SSH、rsync主机同步

  • 官方网站：rsync

2.rsync服务器

  • rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

  • rsync软件适用于unix/linux/windows等多种操作系统平台

  • rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制

  • 以其delta-transfer算法闻名。

  • rsync监听端口：873

  • rsync运行模式：C/S

3.同步方式

  • 全量备份

    • 原有的数据全部传送

    • 把原来的文件和新的文件一起统一传送

    • 全量复制，效率低

  • 增量备份

    • 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输

    • 增量复制，效率高

A服务器同步B服务器的数据，B服务器就是备份源

反过来，B服务器同步A服务器的数据，那么A服务器就是备份源

4.rsync命令

 rsync [选项]  原始位置   目标位置
常用选项说明
-r递归模式，包含目录及子目录中的所有文件
-l对于符号链接文件仍然复制为符号链接文件
-v显示同步过程的详细信息
-z在传输文件时进行压缩
-a归档模式，递归并保留对象属性，等同于-rlptgoD
-p保留文件的权限标记
-t保留文件的时间标记
-g保留文件的属组标记（仅超级用户使用）
-o保留文件的属主标记（仅超级用户使用）
-H保留硬链接文件
-A保留ACL属性信息
-D保留设备文件及其他特殊文件
- -delete删除目标位置有而原始位置没有的文件
- -checksum根据对象的校验和来决定是否跳过文件

5.配置源的两种方法

格式一： 用户名@主机地址::共享模块名 
格式二： rsync://用户名@主机地址/共享模块名

二.本地复制操作（下行复制）

rsync:192.168.68.200
client:192.168.68.30

1.master:192.168.68.200

[root@master ~]# systemctl stop firewalld
[root@master ~]# setenforce 0
[root@master ~]# rpm -q rsync 
rsync-3.0.9-18.el7.x86_64
[root@master ~]# yum install -y httpd rsync

[root@master ~]# vim /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = oyyy
secrets file = /etc/rsyncd_users.db

[root@master html]# vim /etc/rsyncd_users.db

[root@master ~]# chmod 600 /etc/rsyncd_users.db 
[root@master ~]# rsync --daemon
[root@master ~]# netstat -natp |grep rsync
tcp        0      0 192.168.68.200:873      0.0.0.0:*               LISTEN      30618/rsync 
[root@master ~]# cd /var/www/html/
[root@master html]# touch a.html b.html

2.client:192.168.68.30

[root@slave1 ~]# systemctl stop firewalld
[root@slave1 ~]# setenforce 0
[root@slave1 ~]# yum install -y rsync
[root@slave1 ~]# cd /opt/
[root@slave1 opt]# mkdir yibo
[root@slave1 opt]# chmod 777 yibo

[root@slave1 opt]# vim /etc/server.pass

[root@slave1 opt]# chmod 600 /etc/server.pass 
[root@slave1 opt]# rsync -az --delete --password-file=/etc/server.pass oyyy@192.168.68.200::oyyy /opt/yibo/
##rsync使用oyyy用户，密钥文件/etc/server.pass将192.168.68.200的共享模块文件进行压缩，归档同步至当前服务器的/opt/yibo 目录下并删除差异内容
[root@slave1 opt]# ls yibo/
a.html  b.html   ##查看yibo目录，下行同步成功

三.inotify介绍

inotify是一种文件系统的变化通知机制。 如文件增加、删除等事件可以立刻让用户态得知 。

利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

将inotify机制与rsync相结合，可以实现触发式备份（实时同步)，即只要原始位置的文档发生变化，则立即启动增量备份操作;否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

inotifywait常用选项说明
-e用来指定要监控哪些事情
-m表示持续监控
-r表示递归整个目录
-q简化输出信息

四.resync+inotify实施同步操作

1.master:192.168.68.200

[root@master ~]# vim /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = no  ##yes修改为no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = oyyy
secrets file = /etc/rsyncd_users.db
[root@master ~]# vim /etc/rsyncd.conf 

[root@master ~]# kill `cat /var/run/rsyncd.pid`
[root@master ~]# netstat -natp |grep rsync
[root@master ~]# rsync --daemon
[root@master ~]# netstat -natp |grep rsync
tcp        0      0 192.168.68.200:873      0.0.0.0:*               LISTEN      31606/rsync         
[root@master ~]# chmod 777 /var/www/html/

2.client:192.168.68.30

[root@slave1 opt]# cat /proc/sys/fs/inotify/max_queued_events 
16384
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_user_instances 
128
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_user_watches 
8192

[root@slave1 opt]# vim /etc/sysctl.conf  ##优化inotify内核参数
fs.inotify.max_queued_events = 32768  
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
##加大三个参数的值
[root@slave1 opt]# sysctl -p ##加载内容参数配置文件
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

[root@slave1 opt]# yum install -y gcc gcc-c++
[root@slave1 opt]# rz -E
rz waiting to receive.
[root@slave1 opt]# tar zxf inotify-tools-3.14.tar.gz 
[root@slave1 opt]# cd inotify-tools-3.14/
[root@slave1 inotify-tools-3.14]# ./configure 
[root@slave1 inotify-tools-3.14]# make && make install -j4
 

[root@slave1 opt]# vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/yibo/"
​
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/yibo oyyy@192.168.68.200::oyyy"
​
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
        fi
done
[root@slave1 opt]# chmod +x inotify.sh 
[root@slave1 opt]# ./inotify.sh &
[root@slave1 opt]# cd yibo/
[root@slave1 yibo]# ls
a.html  b.html
[root@slave1 yibo]# touch c.html
[root@slave1 yibo]# ls
a.html  b.html  c.html
[root@slave1 yibo]# rm -rf a.html
[root@slave1 yibo]# ls
b.html  c.html
 

 

 

3.master:192.168.68.200验证
 

[root@master ~]# cd /var/www/html/yibo/
b.html  c.html
 

 

之前slave同步时会出现报错，是因为是以匿名用户身份登陆的
 

 

[root@master yibo]# vim /etc/rsyncd.conf 
uid = root  ##改为root
gid = root
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = oyyy
secrets file = /etc/rsyncd_users.db
 

 

[root@master yibo]# kill `cat /var/run/rsyncd.pid`
[root@master yibo]# rsync --daemon
[root@master yibo]# ls
b.html  c.html
 

 

4.client:192.168.68.30
 

 

5.master:192.168.68.200
 


                

        

        

    

  


    

      

        

            

              
                
                  jwrrrrrr
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
奶奶常说Rsync 下行同步 + Inotify 实时同步详解

				
			

			

				

					DZYSHOW的博客
				

				

					11-27
					
					343
					
				

			

		

		

			
				
目录一、rsync 同步简介1. 关于 rsync2. rsync 同步源（备份源）二、配置 rsync 备份源1. 关闭防火墙2. 查看 rsync 是否已安装3. 建立 /etc/rsync.conf 配置文件4. 为备份账户创建数据文件5. 保证所有用户对源目录 /var/www/html 都有读取权限6. 启动 rsync 服务程序7. 关闭 rsync 服务8. 编写测试网页三、rsync 命令基本用法1. 基本格式2. 常用选项四、配置发起端（backuper）1. 环境准备2. 查看 rsyn

			
		

	



                

            
              



	

		

			

				
					
rsync远程同步

				
			

			

				

					l17605229954的博客
				

				

					10-07
					
					548
					
				

			

		

		

			
				
rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性rsync软件适用于unix/linux/windows等多种操作系统平台rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制以其delta-transfer算法闻名rsync监听端口：873。

			
		

	



              


  
              

                


	

		

			

				
					
rsync+inotify

					
最新发布

				
			

			

				

					2301_78088515的博客
				

				

					09-23
					
					1282
					
				

			

		

		

			
				
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步。它使用一种称为“Rsync演算法”的技术，只传输文件的不同部分，而不是每次都整份传送，这使得它在备份和同步大量数据时非常高效。rsync可以镜像保存整个目录树和文件系统，保持原来文件的权限、时间、软硬链接等属性，并且可以通过SSH等方式安全传输文件。Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制。

			
		

	





	

		

			

				
					
部署rsync+inotify服务

				
			

			

				

					dubaiToT的博客
				

				

					09-19
					
					293
					
				

			

		

		

			
				
部署rsync+inotify

rsync简介
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具 Remote Sync 可以远程同步，支持本地复制，或者与其他ssh，rsync同步。
inotify简介
inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了inotify支持。通过inotify可以监控文件系统中添加、删除、...

			
		

	



		

			
		



	

		

			

				
					
rsync+inotify的部署与使用

				
			

			

				

					jiaofan_yun的博客
				

				

					01-08
					
					843
					
				

			

		

		

			
				
rsync+inotify的部署与使用
1、思路
先安装rsync实现服务器之间文件的同步，在安装inotify监控指定文件夹，当检测到改动，创建、删除等操作时，调用rsync进行同步
2、业务痛点
相较于传统的 scp 和 cp 等，rsync 的主要优势就在于实时性备份，但是同时也存在问题：

rsync 同步需要扫描所有文件进行对比，然后进行差异性同步，如果文件数量很大，就会非常耗时。
rsync 无法实时的去检测文件变化，使用定时任务肯定会存在时间差，这就无法实现实时同步。

为了解决上面的问题，于

			
		

	





	

		

			

				
					
rsync远程同步（配置rsync下行同步、rsync+inotify实时同步）

				
			

			

				

					ljj的学习笔记
				

				

					03-04
					
					934
					
				

			

		

		

			
				
一、rsync简介
一款快速增量备份工具
Remote Sync，远程同步
支持本地复制，或者与其他SSH、rsync主机同步
官方网站：https://rsync.samba.org/
二、rsync同步源
rsync同步源
指备份操作的远程服务器，也称为备份源
例：
A服务器同步B服务器的数据，B服务器就是备份源
反过来，B服务器同步A服务器的数据，那么A服务器就是备份源
三、配置rsync源
1、基本思路
建立rsyncd.conf配置文件、独立的账号文件
启用rsync的 --daemon模式
2、

			
		

	





	

		

			

				
					
rsync远程同步+inotify实时同步部署

				
			

			

				

					2301_77369997的博客
				

				

					08-01
					
					976
					
				

			

		

		

			
				
Rsync（Remote Sync）是一个功能丰富、快速和灵活的文件复制和同步工具。它以增量复制的方式工作，能够仅复制源和目标之间发生变化的文件或部分文件，从而减少了数据传输的时间和网络带宽的消耗。Rsync 使用一个特殊的算法来识别文件的差异，并仅传输发生变化的部分，以实现高效的文件同步和备份。它还支持多种模式和选项，使其非常适应各种不同的应用场景。① rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。

			
		

	





	

		

			

				
					
rsync下行同步+inotify实时同步部署（图文详解）

				
			

			

				

					愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
				

				

					03-02
					
					2846
					
				

			

		

		

			
				
文章目录一、rsync简介二、rsync同步源三、配置rsync源四、rsync命令五、配置源的两种表达方式六、inotify简介七、配置rsync下行同步==1、Master（192.168.184.10）====2、Slave（192.168.184.20）==八、rsync+inotify实时同步==1、Master（192.168.184.10）====2、Slave（192.168.184.20）==
一、rsync简介
一款快速增量备份工具

Remote Sync，远程同步
支持本地复制，或者

			
		

	





	

		

			

				
					
rsync+inotify部署

				
			

			

				

					勿念勿扰,相安静好
				

				

					09-11
					
					1261
					
				

			

		

		

			
				
rsync分为上行同步和下行同步      发起端和同步源的

上行同步：发起端同步数据到同步源

下行同步：发起端从同步源下载数据到发起端

发起端：管理员操作的机器就是发起端，也可以理解为客户端

同步源：数据存放的服务器叫做同步源

下行同步：

如果最下化安装的系统可能没有装rsync，使用yum安装即可：yum -y install rsync

在同步源服务器设置

修改rsync的配...

			
		

	





	

		

			

				
					
Linux下Rsync+Inotify部署

				
			

			

				

					混江龙
				

				

					06-13
					
					322
					
				

			

		

		

			
				
Inotify介绍
Inotify-tools安装
inotify监控事件
inotifywait的常用参数
rsync inotify实时备份
同一台机器上的两个目录保持同步Inotify介绍inotify是一种强大的、细粒度的、异步的文件系统监控机制，在Linux内核2.6.13以后的版本中增加了对inotify的支持，通过使用Inotify可以监控文件系统中的添加、删除、移动、修改等等各种细微

			
		

	





	

		

			

				
					
rsync实战：部署rsync+inotify

				
			

			

				

					DragonYear的博客
				

				

					07-28
					
					252
					
				

			

		

		

			
				
环境说明：




服务器类型
IP地址
应用
操作系统




源服务器
192.168.159.135
rsyncinotify-tools脚本
centos7/redhat7


目标服务器
192.168.159.132
rsync
centos7/redhat7


需求：

把源服务器上/etc目录实时同步到目标服务器的/longnian/下

1.在目标服务器上做以下操作
//关闭防火墙与SELINUX
[root@longnian ~]# systemctl stop firewalld
[

			
		

	





	

		

			

				
					
rsync远程同步（下行同步）详细解读

				
			

			

				

					Gengchenchen的博客
				

				

					02-27
					
					1000
					
				

			

		

		

			
				
文章目录
一、关于rsync
（一）、一款快速增量备份工具

Remote Sync，远程同步
支持本地复制，或者与其他SSH，rsync主机同步

二、配置rsync源
（一）、基本思路

建立rsync.conf 配置文件，独立的账号文件
启用rsync的 --daemon模式
（二）、应用示例
用户backuper，允许下行同步
操作的目录为/var/www/html

（三）、配置文件rsyncd.conf

需手动建立，语法类似于Samba配置
认证配置auth users、secrets fil

			
		

	





	

		

			

				
					
rsync+inotify实现分布式集群部署

				
			

			

				

					weixin_34365417的博客
				

				

					03-03
					
					211
					
				

			

		

		

			
				
上一篇：Linux下使用ssh密钥实现无交互备份
上二篇：Linux下使用rsync实现文件备份
缘起
由于公司要对支付做压测，于是使用了公司的服务器搭建了一个简单的集群环境，但是各个节点分别部署确实有点麻烦，由此产生了一下想法，使用rsync+inotify同步部署集群项目，就是主节点项目变更会自动同步到其他集群节点上。
优点
使用rsyn工具和ino...

			
		

	





	

		

			

				
					
rsync+inotify  安装部署

				
			

			

				

					hahahawjl的博客
				

				

					06-05
					
					344
					
				

			

		

		

			
				
#!/bin/bash
#-t指定SSH密钥的算法为RSA算法，-N设置密码为空，-f指定生成的密钥文件存放位置
rm -rf ~/.ssh/{known_hosts,id_rsa*}
ssh-keygen -t rsa -n ‘’ -f ~/.ssh/id_rsa    #生成密钥，一路回车
yum -y install expect                       #安装expec...

			
		

	





	

		

			

				
					
rsync+inotify同步（下行+实时）介绍及部署

				
			

			

				

					bugggggggg的博客
				

				

					05-19
					
					246
					
				

			

		

		

			
				
文章目录一、rsync介绍二、配置rsync源步骤三、rsync命令四、inotify介绍五、配置rsync下行同步
一、rsync介绍

rsync是linux系统下的数据镜像备份工具。
使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

二、配置rsync源步骤

建立rsyncd.conf配置文件、独立的账号文件
启用rsync的 --daemon模式

rsyncd.conf配置文件

认证配置auth users、secrets file

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值