异地备份（sync+inotify）+增量 本地增量备份 检查文件是否修改 判断文件是否存在

最新推荐文章于 2024-04-19 10:00:00 发布
最新推荐文章于 2024-04-19 10:00:00 发布
阅读量468 收藏
点赞数
分类专栏： 期中架构 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangenguang/article/details/115837917
版权

文章目录

备份：异地备份（sync+inotify）+增量

rsync+inotify—》制作异地镜像站点
目的：为异地备份做好准备工作

本地 增量备份脚本

#!/bin/bash

set -o errexit  #出错脚本退出
set -o nounset  #变量不存在脚本退出
set -o pipefail #管道错误脚本退出


SOURCE_DIR="/data/"
TARGET_START_DIR="/bak/"          
TARGET_DIR="${TARGET_START_DIR}/$(date '+%Y-%m-%d_%H:%M:%S')"
LATEST_LINK="${TARGET_START_DIR}/latest"  
mkdir -p "${TARGET_START_DIR}"
rsync -av --delete \
"${SOURCE_DIR}/" \
 --link-dest "${LATEST_LINK}" \
 "${TARGET_DIR}"

rm -rf "${LATEST_LINK}"
ln -s "${TARGET_DIR}" "${LATEST_LINK}"
~  
==================================================================================
# 脚本解释

mkdir /bak

TARGET_DIR=/bak/`date '%Y-%m-%d_%H:%M:%S'`

rsync -a --delete /data/ --link-dest /bak/latest $DIR

rm -rf /bak/latest
ln -s $DIR /bak/latest



#注：执行脚本是出现如下不是报错  是新建的文件夹
[root@backup ~]# ./a.sh 
--link-dest arg does not exist: /bak//latest

[root@backup backup]# mkdir /data/
[root@backup ~]# echo 111 > /data/1.txt
[root@backup ~]# echo 222 > /data/2.txt
[root@backup ~]# echo 333 > /data/3.txt
[root@backup ~]# ll /data/*
-rw-r--r-- 1 root root 4 Apr 17 10:54 /data/1.txt
-rw-r--r-- 1 root root 4 Apr 17 10:54 /data/2.txt
-rw-r--r-- 1 root root 4 Apr 17 10:54 /data/3.txt

[root@backup ~]# cat a.sh 
#!/bin/bash

set -o errexit
set -o nounset
set -o pipefail


SOURCE_DIR="/data/"
TARGET_START_DIR="/bak/" 
TARGET_DIR="${TARGET_START_DIR}/$(date '+%Y-%m-%d_%H:%M:%S')"

LATEST_LINK="${TARGET_START_DIR}/latest"
 
mkdir -p "${TARGET_START_DIR}"
rsync -a --delete \
"${SOURCE_DIR}/" \
 --link-dest "${LATEST_LINK}" \
 "${TARGET_DIR}"

rm -rf "${LATEST_LINK}"
ln -s "${TARGET_DIR}" "${LATEST_LINK}"
[root@backup ~]# chmod +x a.sh 
[root@backup ~]# ./a.sh 
sending incremental file list
--link-dest arg does not exist: /bak//latest    #创建目录   不是报错
./

#新生成以时间节点的第一次全量备份   inote不同
[root@backup ~]# ls -i /bak/2021-04-17_10\:57\:15/*
67113386 /bak/2021-04-17_10:57:15/1.txt
67113388 /bak/2021-04-17_10:57:15/2.txt
67113389 /bak/2021-04-17_10:57:15/3.txt
[root@backup ~]# ls -i /data/*
1272085 /data/1.txt  1272093 /data/2.txt  1272094 /data/3.txt

#增加文件（增量备份）只备份增加的数据inote是全新的  没改变的文件做软连接跟之前的inote号一样
[root@backup ~]# echo 444 > /data/4.txt
[root@backup ~]# ./a.sh 
[root@backup ~]# ls -i /bak/2021-04-17_1
2021-04-17_10:57:15/ 2021-04-17_11:13:14/ 
[root@backup ~]# ls -i /bak/2021-04-17_11\:13\:14/*
 67113386 /bak/2021-04-17_11:13:14/1.txt
 67113388 /bak/2021-04-17_11:13:14/2.txt
 67113389 /bak/2021-04-17_11:13:14/3.txt
134319837 /bak/2021-04-17_11:13:14/4.txt

[root@backup ~]# echo 222 >> /data/1.txt 
[root@backup ~]# ./a.sh 
[root@backup ~]# cat /bak/2021-04-17_1
2021-04-17_10:57:15/ 2021-04-17_11:13:14/ 2021-04-17_11:21:18/
[root@backup ~]# cat /bak/2021-04-17_11\:21\:18/1.txt 
111
222
[root@backup ~]# ls -i /bak/2021-04-17_11\:21\:18/*
202524909 /bak/2021-04-17_11:21:18/1.txt
 67113388 /bak/2021-04-17_11:21:18/2.txt
 67113389 /bak/2021-04-17_11:21:18/3.txt
134319837 /bak/2021-04-17_11:21:18/4.txt

项目案例（客户端----服务端）

准备环境

主机IP主机角色
nfs192.168.15.31客户端
backup192.168.15.41服务端

项目需求

客户端：
1.客户端提前准备存放的备份的⽬录，⽬录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置⽂件、应⽤配置等)拷⻉⾄/backup/nfs_172.16.1.31_2018-
09-02
3.客户端最后将备份的数据进⾏推送⾄备份服务器
4.客户端每天凌晨1点定时执⾏该脚本
5.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

服务端需求：
1.服务端部署rsync，⽤于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个⽉的备份数据,其余的全部删除

配置邮件----在服务端

#服务端
[root@backup backup]# yum install mailx -y
[root@backup backup]# vim /etc/mail.rc
[root@backup ~]# cat /etc/mail.rc 
set from=449330597@qq.com
set smtp=smtp.qq.com  
set smtp-auth-user=449330597
set smtp-auth-password=授权码
set smtp-auth=login 

进入qq邮箱设置POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务开启

开启授权码
vtxjlcbaqywuiheg

验证到邮箱查看
[root@backup ~]# mail -s '测试文件' xxxxxxxxx@qq.com<md5sum.log

客户端

#!/bin/bash

ROOT_DIRECTORY=/backup
HOSTNAME=$(hostname)
LOCALOST=`hostname -I | awk '{print $2}'`
DATE=`date +%F`

DIR=$ROOT_DIRECTORY/${HOSTNAME}_${LOCALOST}_${DATE}

mkdir -pv $DIR

cd $DIR

tar -cvzf system_file.tar.gzd  /var/log/messages

# 记录MD5哈希值
md5sum system_file.tar.gz > md5sum.log

rsync -avz $DIR   yeg@backup::backup

# 00 01 * * *  deploy.sh
find /backup -mtime +7 -exec rm -rf {} \;

服务端

#!/bin/bash

ROOT_DIRECTORY=/backup
CLIENT_HOSTNAME=nfs
CLIENT_HOST=`ping -c1 ${CLIENT_HOSTNAME} | awk 'NR==1{print $2}'`
DATE=`date +%F`

cd ${ROOT_DIRECTORY}/${CLIENT_HOSTNAME}_${CLIENT_HOST}_${DATE}

md5sum -c md5sum.log 

# 发送邮件
mail -s '测试文件'1246545631@qq.com<md5sum.log

find /backup -mtime +180 -exec rm -rf {} \;

安装inotify

监控数据源是否有变化

#客户端
[root@nfs yum.repos.d]# cat epel.repo 
[epel]
name='epel repo'
baseurl=https://repo.huaweicloud.com/epel/7/x86_64/
gpgcheck=0
[root@nfs yum.repos.d]# vim epel.repo
[root@nfs yum.repos.d]# yum clean all
[root@nfs yum.repos.d]# yum makecache

[root@nfs yum.repos.d]#  yum install -y inotify-tools

测试监控在前台运行

#注：nfs客户端开启两个中断 一个终端用来监控

#在nfs[0]执行
inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /var/log/messages

#在nfs[1]执行
[root@nfs backup]#echo "111111" > /backup/index.html
#在nfs[0]执行可以看到输出结果

#在nfs[0]执行
[root@nfs backup]# vim aa-sj.sh
[root@nfs backup]# cat aa-sj.sh 
#!/bin/bash

ROOT_DIRECTORY=/backup
HOSTNAME=$(hostname)
LOCALOST=`hostname -I | awk '{print $2}'`
DATE=`date +%F`

DIR=$ROOT_DIRECTORY/${HOSTNAME}_${LOCALOST}_${DATE}

mkdir -pv $DIR

cd $DIR

tar -cvzf system_file.tar.gz  /var/log/messages

# 记录MD5哈希值
md5sum system_file.tar.gz > md5sum.log

rsync -avz $DIR   yeg@backup::backup

# 00 01 * * *  deploy.sh
find /backup -mtime +7 -exec rm -rf {} \;

[root@nfs backup]# echo "111" > /var/log/messages

#监控脚本
#在nfs[0]执行
inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /var/log/messages | while read line; do /backup/aa-sj.sh ; done

#在nfs[1]执行
[root@nfs backup]# echo "111" > /var/log/messages

#在服务端查看
[root@backup ~]# cd /backup
[root@backup backup]# ll
[root@backup backup]# cd nfs_172.16.1.31_2021-04-20/
[root@backup nfs_172.16.1.31_2021-04-20]# ll
total 8
-rw-r--r-- 1 rsync rsync  53 Apr 20 00:02 md5sum.log
-rw-r--r-- 1 rsync rsync 129 Apr 20 00:02 system_file.tar.gz
[root@backup nfs_172.16.1.31_2021-04-20]# tar -xf system_file.tar.gz 
[root@backup nfs_172.16.1.31_2021-04-20]# ll
total 8
-rw-r--r-- 1 rsync rsync  53 Apr 20 00:02 md5sum.log
-rw-r--r-- 1 rsync rsync 129 Apr 20 00:02 system_file.tar.gz
drwxr-xr-x 3 root  root   17 Apr 20 00:05 var
[root@backup nfs_172.16.1.31_2021-04-20]# cat var/log/messages 
111

inotify监控备份后台运行

#客户端放在后台执行
[root@nfs ~]# nohup ./inotify.sh &
[root@nfs ~]# cat inotify.sh 
#!/bin/bash
export RSYNC_PASSWORD=1

inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /var/log/messages | while read line; do /backup/aa-sj.sh ; done

[root@nfs backup]# echo "111" > /var/log/messages

#在服务端查看
[root@backup ~]# cd /backup
[root@backup backup]# ll
[root@backup backup]# cd nfs_172.16.1.31_2021-04-20/
[root@backup nfs_172.16.1.31_2021-04-20]# ll
total 8
-rw-r--r-- 1 rsync rsync  53 Apr 20 00:02 md5sum.log
-rw-r--r-- 1 rsync rsync 129 Apr 20 00:02 system_file.tar.gz
[root@backup nfs_172.16.1.31_2021-04-20]# tar -xf system_file.tar.gz 
[root@backup nfs_172.16.1.31_2021-04-20]# ll
total 8
-rw-r--r-- 1 rsync rsync  53 Apr 20 00:02 md5sum.log
-rw-r--r-- 1 rsync rsync 129 Apr 20 00:02 system_file.tar.gz
drwxr-xr-x 3 root  root   17 Apr 20 00:05 var
[root@backup nfs_172.16.1.31_2021-04-20]# cat var/log/messages 
111

操作

#客户端
[root@yum01 ~]# vim client.sh 
#!bin/bash


#定义变量

SRC=/backup
HOSTNAME=$(hostname)
IP=$(hostname -I | awk '{print $2}')
DATE=$(date +%F)

DIR=${SRC}/${HOSTNAME}_${IP}_${DATE}

#判断是否有目录 没有就创建目录
[ -d $DIR ] || mkdir -p $DIR

cd $DIR

#打包文件
tar -czvf ${DATE}_system.tar.gz  /var/log/messages

#md5sum 效验
[ -f md5sum.log ] || md5sum ${DATE}_system.tar.gz > md5sum.log

#将备份数据推送到备份服务器
rsync -avz $DIR rsync@192.168.15.50::bak

#删除7天外的数据
find /bak -mtime +7 |xargs rm -rf
==================================================================================================
#服务端
[root@yum02 ~]# vim server.sh 
#!bin/bash

#定义变量
DIR=/bak
HOSTNAME=yum01
IP=`ping -c1 172.16.15.40 |awk 'NR==1{print $2}'`
DATE=$(date +%F)

cd  ${DIR}/${HOSTNAME}_${IP}_${DATE}/

#校验文件
md5sum -c md5sum.log

#将效验结果发送给管理员邮箱
mail -s "备份文件 " 1246545631@qq.com <md5sum.log

# 清除超过180天的数据
find /bak -mtime +180 -exec rm -rf {} \;

[root@yum02 bak]# vim /etc/mail.rc 

set from=1246545631@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=1246545631
set smtp-auth-password=授权码
set smtp-auth=login
===============================================================================================
#inotify实时监控(在客户端)
[root@yum01 ~]# vim aaa.sh 
#!/bin/bash
export RSYNC_PASSWORD=1

dir=/var/log/messages   #监控的文件
inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write ${dir} | while read line; do bash /root/client.sh ; done &>/dev/null &

不同版本

准备服务端，分析脚本逻辑
#创建目录
mkdir /backup/$(hostname)_$(hostname -I | awk '{print $2}')_$(date +%F)

#打包目录
tar zcf /backup/$(hostname)_$(hostname -I | awk '{print $2}')_$(date +%F)/conf.tar.gz /var/log/messages

#推送文件
rsync -avz /backup/ rsync_backup@*.*.*.*::backup

客户端

[root@web01 ~]# vim client.sh 

#!/bin/bash

#用于备份

DIR=/backup
HOSTNAME=$(hostname)
IP=$(hostname -I |awk '{print $2}')
DATE=`date +%F`

SRC=${DIR}/${HOSTNAME}_${IP}_${DATE}

[ -d $SRC ] || mkdir -p $SRC

cd $SRC

tar -czPf conf.tar.gz /var/log/messages

md5sum conf.tar.gz > resulet.flag


export RSYNC_PASSWORD=1

rsync -az $SRC yeg@192.168.15.45::backup


find $DIR -type d -mtime +7 | xargs rm -rf


#定时任务
crontab -e
0 1 * * * /bin/bash /root/client.sh

服务端

#/etc/mail.rc模板
set from=xxx@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=xxx@qq.com
set smtp-auth-password=#校验值
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

[root@backup ~]# yum install mailx -y
#配置/etc/mail.rc文件
[root@backup ~]# mail -s "校验结果" xxx@qq.com < ceshi.txt

[root@fwd ~]# vim server.sh 

#脚本

#！/bin/bash
#baimo
#用于备份
DIR=/backup
HOSTNAME=web01
IP="172.16.1.35"
DATE=$(date +%F)
SRC=${DIR}/${HOSTNAME}_${IP}_${DATE}

cd $SRC

#校验文件
md5sum -c $SRC/resulet.flag > $DIR/result.txt

#将校验结果发送给管理员邮箱
mail -s "$DATE备份文件 校验的结果" 1246545631@qq.com < $DIR/result.txt

#删除6个月之前的数据
find $DIR/ -type d -mtime +180 | xargs rm -rf

#服务端脚本加入定时任务
 crontab -e
 0 7 * * * /bin/bash /root/server.sh &> /dev/null

Rsync结合inotify

#安装
[root@web1 ~]# yum install inotify-tools -y
#参数
-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
%Xe 事件
%w 目录
%f 文件
-e 指定监控的事件
access 访问
modify 内容修改
attrib 属性修改
close_write 修改真实文件内容
open 打开
create 创建
delete 删除
umount 卸载

#测试
/usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write /var/log/messages |  while read line; do bash /root/client.sh ; done

[root@backup ~]# vim rsyn-inotify.sh

#客户端
[root@web01 ~]# vim rsync-inotify.sh 
#!/bin/bash
#实时推送备份文件脚本

export RSYNC_PASSWORD=1

dir=/var/log/messages   #监控的文件
inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write ${dir} | while read line; do bash /root/client.sh ; done &>/dev/null &

检查文件是否修改

[root@nfs ~]# echo 123 > index.html
[root@nfs ~]# ll
total 12
-rw-------. 1 root root 1692 Apr 14 19:38 anaconda-ks.cfg
-rw-r--r--  1 root root    4 Apr 19 21:17 index.html
[root@nfs ~]# cat index.html
123
[root@nfs ~]# md5sum  index.html
ba1f2511fc30423bdbb183fe33f3dd0f  index.html
[root@nfs ~]# echo "333" >> index.html
[root@nfs ~]# md5sum  index.html
a9b2ef5da91f8928a399914aa83a0686  index.html

[root@nfs ~]# md5sum  index.html > log
[root@nfs ~]# cat log
a9b2ef5da91f8928a399914aa83a0686  index.html
[root@nfs ~]# md5sum -c log 
index.html: OK

[root@nfs ~]# echo "444" >> index.html 
[root@nfs ~]# md5sum -c log 
index.html: FAILED
md5sum: WARNING: 1 computed checksum did NOT match

判断文件是否存在

[root@nfs backup]# [ -f nfs_172.16.1.31_2021-04-19/system_file.tar.gz ]
[root@nfs backup]# echo $?
0
[root@nfs backup]# [ -f nfs_172.16.1.31_2021-04-19/system_file.tar.gzjhwe ]
[root@nfs backup]# echo $?
1
琴声浮或沉__听懂只一人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Svn最强大的Windows下实现自动全量增量备份和异地备份，一切自动化完成
08-26
最强大的Svn在Windows下实现自动全备份和增量备份，以及异地备份,一切自动化完成 1.SVN备份内容 SVN在Windows下的自动备份实现，包括： 1）SVN目录的全备份（1周或1个月备份1次，由windows计划来调度执行）； 2）SVN增量备份（每日备份1次，由windows计划来调度执行）。 2. SVN备份流程 上述2类备份分别进行的自动备份流程如下： 1）通过windows定时任务功能，调度进行备份、压缩、FTP上传功能的bat文件； 2）将自动备份成按每日日期.dmp备份到SVN本机的其他磁盘空间中，分全备份和增量备份； 3）启动ftp上传命令，将备份的rar包立即上传在异地服务器上。异地服务器需提前架好ftp服务器并建立好相关上传目录，建议使用FileZilla_Server、serverU或者简单ftp软件进行搭建。 4）整个上传过程，详细记录备份、压缩、FTP上传各步骤详细日志，随时可以查阅每次备份记录的详细情况。 3 SVN还原功能 可以进行还原所有版本库，需手工执行
rsync+inotify开机自启动实时同步增量备份
08-25
rsync+inotify开机自启动实时同步增量备份脚本，修改事件、实例、文件
使用sync备份
weixin_33709219的博客
05-25 438
sync备份比传统的使用tar备份更加的快速，因为sync只同步不同的文件。 下面的脚步就是用来备份一台文件服务器上的文件。 #!/bin/bash #Name: backup.sh #Version: v0.1 #Description: this script will backup fileserver's data to usb storage,pleas...
rsync 远程同步实现快速、安全、高效的异地备份
wangluoanquan111的博客
04-19 1041
1 rsync 远程同步1.1 rsync是什么？1.2 rsync同步方式1.3 rsync的特性1.4 rsync的应用场景1.5 rsync与cp、scp对比1.6 rsync同步源2 配置rsync源服务器2.1 建立/etc/rsyncd.conf 配置文件3 发起端4 发起端配置 rsync+inotify4.1 修改rsync源服务器配置文件4.2 调整 inotify 内核参数4.3 安装 inotify-tools。
度量系统服务端文件本地异地差异备份(增量备份)脚本示例
weixin_34114823的博客
11-16 138
度量产品部署好服务端后，因为服务端有各类封装加密的附件，文件等资料，为保障数据安全，除了建立高可用性的备份机制外，我们可以通过批处理脚本，结合到系统计划进行本地或异地备份，为考虑容量情况，也可以采用增量备份进行。下面代码是一个示例批处理脚本，可以按照自己的思路编写简单而强大的服务端备份策略：@echo offREM ******************************...
python hashlib模块的摘要算法，判断一个文件的内容是否发生改变，完全备份与增量备份的python写法（冷备）
ck784101777的博客
11-25 591
1.摘要算法 什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。 举个例子，你写了一篇文章，内容是一个字符串'how to use python hashlib'，并附上这篇文章的摘要是'2d73d4f15c0db7f5ecb321b6a65e5d6d'。如果有人篡改了你的文章，并发表为'how to u...
Rsync增量同步
NancyLCL的博客
12-29 1831
同步目录时，若以" / "结尾则表示同步目录下所有文件，不会连同目录一起同步；若不以" / "结尾则表示同步目录下所有文件并且会连同目录一起同步。10. 无差异同步：使用" --delete "参数，一般用于两台负载均衡下面的web服务器之间的同步，或者高可用双机配置直接的同步等。
通过rsync+inotify实现数据的实时备份配置
01-20
 与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。...
rsync + inotify 实现异地文件数据同步
最新发布
06-12
rsync + inotify 实现异地文件数据同步
Linux 系统下安装 rsync+inotify 组件实现多个服务器之间文件实时同步
01-09
以服务端为主，在服务端建立备份文件目录，将需要备份的文件上传到此目录下，客户端上也建立一个相同的备份目录，备份目录所在的路径和服务端的保持一致。客户端的备份文件要和服务器端的备份文件保持实时同步。 ...
Remote Syns 远程同步/增量备份
Chengchengsj的博客
10-25 657
配置 rsync 源 服务器
Rsyn部署实现数据同步备份
weixin_33817333的博客
11-07 353
一、什么是rsync　　rsync，remote synchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。　　rsync 包括...
用sync toy做增量备份
weixin_34129145的博客
03-04 96
http://jingyan.baidu.com/article/d8072ac47fd902ec95cefd20.html 转载于:https://blog.51cto.com/406647516/1747432
Synbak 2.0 发布，系统备份工具
weixin_30287169的博客
01-05 59
Synbak 2.0 是一个全新的版本号，实现了 'backup_shedule' 功能用于自动化和简化每日、每周、每月和每年的自动备份；增加 -E pr=100/noprompt 参数到内部的 LDAP 导出命令；支持 lzo 和 xz 压缩；重写了 erase 功能更加智能；修复了某些变量名。 Synbak 是一个备份工具，提供多种备份方法，提供强大的报表系统和简单的配置文件接口，可通过以下...
获取服务端文件的更新时间_文件增量同步之rsync算法
weixin_39556474的博客
12-09 294
前言之前毕设有用到文件增量同步，于是乎就记录一下。场景在A和B两个不同端之间有相似度很高的文件，同时这个文件又比较大。如果通过全量传输来更新，http传输量很大，非常不友好。那么可以通过某些手段，只上传修改的内容，其余内容复用旧文件。重复块检测技术固定分块检测技术：固定分块检测的话，如果某一区域发生变化，之后分块将均无法检测命中块，命中率低且局限性大。可变块检测技术：可变块很好解决上面的问题，例如...
linux 下sync增量备份
01-30 172
!/bin/sh #/bin/rm -rf /mnt/hd20/* #/bin/cp -af /bin /boot /dev /etc /initrd /lib...
编程小技巧：自动检测文件修改
weixin_30273931的博客
09-24 104
自动检测文件修改 对于如下情况的文件： 文件较大 计算MD5值很耗时 简单的检测 原理，很简单：检测最后的修改时间 劣势：无法检测出文件根本就没有变动的情况（改了，但是内容没有变动） 上代码： package com.cn.test; import java.io.File; import java.io.FileInputStream; import java.io.IOExc...
rsync快速增量备份工具
搬着砖，敲着代码的博客
04-05 873
rsync ( Remote sync，远程同步)是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
Shell判断文件存在,rsync命令
河蟹堡的博客
12-18 509
判断文件夹是否存在 if [ ! -d "target" ]; then mkdir target fi 判断能否删除文件夹 if [ -x "target" ]; then rm -rf target/* fi 查找出所有.apk的文件,并签名 for file in $(ls ./ |grep .apk$) do [ ! -d $file ] && echo $file 签名中... done echo '签名后的文件在当前目录的target目录下' basepath
使用epoll + inotify监控文件
05-18
要使用 epoll 和 inotify 监控文件，需要进行以下步骤： 1. 创建一个 epoll 实例并将其添加到监听文件描述符列表中。 2. 创建一个 inotify 实例并将其添加到 epoll 实例中。 3. 使用 inotify_add_watch 函数添加...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

琴声浮或沉__听懂只一人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值