linux 实现文件增量同步

最新推荐文章于 2024-07-18 19:00:04 发布
最新推荐文章于 2024-07-18 19:00:04 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： linux 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AirOrange_qi/article/details/110517313
版权

rsync + Sersync 实现增量同步

需求:同步服务器数据到本地

环境:已配置openvpn 让服务器与本地服务器可以处在同一网络环境

服务器:客户端(192.168.0.67) 服务端(192.168.0.66)

解决方案:监听服务器端文件夹增删改，推送实时变化数据到客户端，达到备份服务端数据的需求

客户端配置

需安装rsync

  1. 首先卸载本机rsync

    yum remove -y rsync

  2. 安装rsync

    yum install -y rsync
# 查看当前版本
rsync --version

  3. 编辑相应配置文件

    vim /etc/rsyncd.conf
# 配置文件如下
#rsyncd.conf start##
uid = root
gid = root
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsyncd.secrets
[backup]
# 需要备份的路径
path = /backup
##rsync_config____________end

  4. 写登录验证密码文件

    echo "rsync_bakup:123456" /etc/rsyncd.secrets
# 更改文件权限
chmod 600 /etc/rsyncd.secrets

  5. 启动服务

    rsync --daemon
# 关闭服务
pkill rsync

  6. 开放873 端口访问权限

    firewall-cmd --zone=public --add-port=873/tcp --permanent
# 重启防火墙
firewall-cmd --reload

  7. 添加访问主机host

    vim /etc/hosts
# 添加: '192.168.0.66   local-66' 到文件末尾

  8. 文件传输失败查看日志，并相应解决

    tail -f  /var/log/rsyncd.log

客户端配置结束

服务端配置

需安装rsync ，sersync

  1. 首先卸载本机rsync

    yum remove -y rsync

  2. 安装rsync

    yum install -y rsync

  3. 写登录密码文件（没有文件先进行创建）

    echo "123456" /etc/rsyncd.password
# 设置密码文件权限
chmod 600 /etc/rsyncd.password

  4. 下载sersync

    wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz
# 若无法下载则到浏览器下载然后再复制到服务器

  5. 解压并将对应文件拷贝至对应文件夹

    mkdir -p /application/sersync/{bin,conf,logs}
tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz
mv  GNU-Linux-x86/sersync2 /application/sersync/bin
mv  GNU-Linux-x86/confxml.xml /application/sersync/conf

  6. 配置环境变量

    　vim  /etc/profile.d/sersync.sh
　# 添加如下内容　　　　　　　　

    　#!/bin/sh
　　　　　　export PATH=$PATH:/application/sersync/bin

    　source /etc/profile.d/sersync.sh　　　

  7. 备份配置文件然后修改

    cp /application/sersync/conf/confxml.xml /application/sersync/conf/confxml.xmlbk
vim /application/sersync/conf/confxml.xml
# 修改成如下内容

    <?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
   <!--设置本地IP和端口--> 
    <host hostip="localhost" port="8008"></host>
   <!-- 开启DUBUG模式-->     
    <debug start="false"/>
    <!-- 开启xfs文件系统-->    
    <fileSystem xfs="false"/>
   <!-- 同步时忽略推送的文件(正则表达式),默认关闭-->    
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
   <!-- 设置要监控的事件-->    
    <inotify>
    <!-- 若不监听删除操作 设置为false-->     
    <delete start="false"/>
    <!-- 设置为false 将不会监听到文件夹下发生的变化--> 
    <createFolder start="true"/>
  <!-- inotify监控参数，对于大多数应用，可以把createFile设置为false来提高性能，减少rsync通讯，因为拷贝文件到监控目录会产生create事件与close_write事件，所以如果关闭create事件，只监控文件拷贝时结束的事件close_write，同样可以实现文件完整同步。-->    
    <createFile start="false"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
    </inotify>

    <sersync>
   <!-- 本地监视目录路径 -->   
    <localpath watch="/application/rsync/data">
   <!--定义同步Server ip和模块 -->   
        <remote ip="192.168.0.67" name="backup"/>
    </localpath>
    <rsync>
   <!-- rsync指令参数 -->   
        <commonParams params="-artuz"/>
   <!-- rsync同步认证 -->       
        <auth start="true" users="rsync_backup" passwordfile="/etc/rsyncd.password"/>
   <!-- 设置rsync远程服务端口，非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口) -->       
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
   <!-- 设置超时时间 -->       
        <timeout start="false" time="100"/><!-- timeout=100 -->
   <!-- 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书 -->       
        <ssh start="false"/>
    </rsync>
   <!-- sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。-->    
    <failLog path="/application/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
   <!-- 设置rsync定时传输，默认关闭 -->   
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
   <!-- 设置sersync传输后调用name指定的插件脚本，默认关闭 -->   
    <plugin start="false" name="command"/>
    </sersync>

   <!-- 插件脚本范例 -->  
    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>    <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>
  
   <!-- 插件脚本范例 -->
    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>

  8. 启动Sersync

    /application/sersync/bin/sersync2 -d -r -o /application/sersync/conf/confxml.xml

  9. 测试

    cd /application/rsync/data 
for f in `seq 10`;do touch $f;done
# 完成后查看服务端对应模块路径下是否有相应文件，若同步表示成功。

服务端配置结束

AirOrange_qi
关注
专栏目录
Linux环境增量文件同步----rsync部署
yeyiboy的博客
05-14 323
rsync服务端配置 1. vim etc/rsyncd.conf uid = YEYIBOY 登录用户 gid = YEYIBOY 用户组 use chroot = no max connections = 200 最大连接数 log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.
linux的ftp增量同步,linux 使用rsync进行数据增量同步
weixin_29958797的博客
05-05 857
这个是百度写的rsync的使用方法，写的很详细，在此记录一下rsync一、rsync简介用于替代rcp的一个工具，rsync可以通过rsh或ssh使用，也能以daemon模式去运行，在以daemon方式运行时rsync server会开一个873端口，等待客户端去连接，连接时，rsync server会检查口令是否相符，若通过口令查核，则可以通过进行文件传输，第一次连通完成时，会把整份文件传输一次...
linux 如何rsync实现增量同步文件到多台机器？
不会复制粘贴的程序员是一个好程序员。
06-02 609
linux 如何rsync实现增量同步文件
Linux系统下数据同步服务RSYNC
最新发布
m0_68394388的博客
07-18 981
SCP在传输单个文件或首次传输数据时通常更快，因为它直接复制整个文件内容，不需要检查差异Rsync 通过比较源和目标文件来传输差异部分，这在处理大量数据时更高效，但可能会在比较过程中占用更多 CPU 资源。rsync -av ~/abc/ /opt/ 同步⽂件的内容，⽂件的属性 ⽂件的新增 修改 删除(--delete) rsync -av /⽬录 /tmp。总结来说，SCP更适合简单的文件传输和首次传输，而 Rsync更适合需要高效同步和备份的场景，尤其是在处理大量数据时。
linux下rsync增量同步
點灯的人
04-20 207
1、首选检查是否系统安装rsync rpm -qa | grep rsync rsync使用873端口，如果使用防火墙记得开放端口 2、配置服务端 vim /etc/rsyncd.conf 配置如下 uid = nobody #进行备份的用户 nobody为任何用户 gid = nobody #进行备份的组 nobody为任何组 use chroot = no #不使用chroot max connections = 10 #最大连接数 log file = /var/log/rsyncd.log #日志文
linux增量同步工具,Linux Rsync 增量同步与快速删除
weixin_32394247的博客
05-10 288
增量同步rsync [args] SRC [DEST] 情形：同时维护着两份不同的data_center，但以old_data_center为标准。因为权限的缘故没有开启rsync自动同步，只是每隔一段时间手动同步一下。SRC和DEST都是采用mount形式，如果每一次都完整地copy，耗时很长，这时候就想到采用增量同步的方法，因为两份data_center同时由不同人维护，所以内容略有不同，da...
linux服务器 增量,linux下rsync增量同步方法
weixin_31531599的博客
04-28 182
可以先使用rpm －qa |grep rsync 查看rsync是否已经安装下面说说rsyns的配置过程一. 配置服务器端首先编辑 /etc/rsyncd.conf 内容如下:uid = nobody #进行备份的用户nobody为任何用户gid = nobody #进行备份的组 nobody为任何组use chroot = no #不使用chrootmax connections = 10 #最...
Linux安装canal实现增量数据同步
weixin_45865428的博客
11-11 3357
前言：本文章将采用docker方式安装canal canal主要用途是基于 MySQL 数据库增量日志解析，并能提供增量数据订阅和消费。 github地址：https://github.com/alibaba/canal 版本下载地址：https://github.com/alibaba/canal/releases 文档地址：https://github.com/alibaba/canal/wiki/Docker-QuickStart Canal应用场景 1.电商场景下商品、用户实时更新同步到至Ela
linux系统中rsync+inotify实现服务器之间文件实时同步
09-15
Linux系统中的文件实时同步是一个关键的运维任务，尤其对于那些需要保持数据一致性的高可用系统。本文将详细介绍如何使用rsync和inotify工具来实现实时的文件同步，确保数据的安全和一致性。 1. **rsync**： - ...
linux下Rsync+sersync实现文件数据实时同步
03-23
在Linux环境中，文件数据的实时同步是系统管理中的重要任务，尤其对于分布式系统和多服务器环境。`Rsync`和`sersync`是两个常用的工具，它们能够有效地帮助我们完成这个任务。本文将深入探讨这两个工具的工作原理、...
linux rsync 增量同步备份文件
whatday的专栏
03-21 5715
rsync 全名 Remote Sync，是类 unix 系统下的数据镜像备份工具。可以方便的实现本地，远程备份，rsync 提供了丰富的选项来控制其行为。rsync 优于其他工具的重要一点就是支持增量备份。 rsync - a fast, versatile, remote (and local) file-copying tool rsync 是一个功能非常强大的工具，其命令也有很多功...
rsync Server是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制
01-24
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步
drone-rsync：Drone插件，用于将文件和目录同步到远程服务器
02-05
drone-rsync：Drone插件，用于将文件和目录同步到远程服务器
linux下数据的实时备份,增量备份的实现
01-06
linux下数据的实时备份,增量备份的实现 RAID 0+1 适用于小文件或者文件小片段操作，RAID5更适用于大文件操作
Linux 同步工具rsync 文件目录同步，增量备份的手段之一
ck784101777的博客
08-01 5882
一、rsync介绍 rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。 它的特性如下： 可以镜像保存整个目录树和文件系统。 可以很容易做到保持原来文件的权限、时间、软硬链接等等。 无须特殊权限即可安装。 快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的...
Linux - inotify + rsync 搭建实时同步服务
saienenen的博客
11-27 340
Rsync Rsync 在我之前的备份服务器 博客详细记录了，这里不再重新记录。 Rsync 的不足 与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文
日志框架
m0_37607945的博客
03-22 167
说到日志工具，日常工作或学习中肯定听过这些名词：log4j、logback、jdk-logging、slf4j、commons-logging等，它们之间有什么关系，在整个日志体系中又扮演什么角色呢？ 日志框架分为三大类，包括日志门面、日志适配器、日志库。利用门面设计模式，即Facade来进行解耦，使日志使用变得更简单。 日志门面 门面设计模式是面向对象设计模式中的一种，日志框架采用的就是这种模式...
mysql主从增量同步_生产环境中mysql主从同步/完整/增量备份
weixin_36235398的博客
01-20 684
环境：某项目的DB19数据库服务器，无从库也无开过binlog日志，负载有时比较高但基本运行稳定。备份情况：本地每天完整备份保留一周再rsync到异地备份机保留一月，由于数据量的增长加上每天晚上rsync到异地机时流量非常大，所以单独建台虚拟机作为DB19的备份。备份措施：1)　DB19作为主库开启binlog日志。2)　DB19为从库开设同步帐号并开放复制权限。3)　DB19写脚本在凌晨一点锁表...
用Linux Bash Shell增量将最新的文件备份到另一目录
weixin_46130307的博客
06-05 706
问题描述 最近因为做各系统间数据集成，有一个需求是将某个目录下的文件增量备份到另一目录 解决方法 写了一个简短的shell程序实现，内部系统，够用就行，基本的思路是每次将按时间排序的最后一个文件名记录下来，每次拷贝比这个文件后更新的文件。 贴上源码供参考 #!/bin/bash source_dir=/home/oracle/source target_dir=/home/oracle/target work_dir=$(cd `dirname $0`; pwd) if [ ! -f $work_dir/l
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值