Rsync备份案例（脚本）

最新推荐文章于 2024-04-17 16:50:34 发布
置顶 最新推荐文章于 2024-04-17 16:50:34 发布
阅读量1.3k 收藏 7
点赞数 2
分类专栏： Linux服务 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42267081/article/details/109149034
版权

Rsync备份案例

服务器网络规划

使用3台服务器主机名分别为web01、backup 、nfs主机信息见下表:

角色外网IP(WAN)内网IP（LAN）主机名
WEBeth0:10.0.0.7eth1:172.16.1.7web01
NFSeth0:10.0.0.31eth1:172.16.1.31nfs
RSYNCeth0:10.0.0.41eth1:172.16.1.41backup

客户端需求

1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端每天凌晨1点定时执行该脚本
5.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

服务端需求

1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员
4.服务端仅保留6个月的备份数据,其余的全部删除

注意：所有服务器的备份目录必须都为/backup

原理图

在这里插入图片描述

🦄 客户端配置（nfs）

（备注：服务端已经做好rsync服务配置），不会配置点这里

1.创建一个存放客户端脚本文件的路径

mkdir -p /server/scripts
vim /server/scripts/client_rsync_data.sh

2.编辑客户端脚本(重点)

①定义变量（环境变量，和题目要求创建目录的后缀名）
1)环境变量：简单的说就是系统配置好的变量，全局生效这里如果不定义会在写任务计划执行脚本时不会识别脚本中的变量

1.找到环境变量
echo $PATH(大写)

/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

把环境变量复制到脚本中

2)定义后缀名变量

我们看题目中/nfs_172.16.1.31_2018-09-02 要求的是这样的格式.
由三部分组成主机名_IP_时间戳
$() 这个圆符号中，括号里面放命令

${} 这个花括号中，括号里面放变量名
查找本服务器主机名命令是hostname
查找本服务器IP的命令是 ifconfig eth1| awk 'NR==2{print $2}'
查找本服务器时间戳的命令是date +%F
我们把这三个部分组合起来就是 $(hostname)_$(ifconfig eth1| awk 'NR==2{print $2}')_$(date +%F)
把他们写到脚本中就是定义变量表达

变量名首字母一定要大写
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1 |awk 'NR==2{print $2}')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}

在这里插入图片描述

💗看客户端题目第一题需求💗:
客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02

②创建备份目录

用脚本表示：

mkdir -p $Dest 
$Dest 就是调用我们上面赋值后的变量名

💗看客户端第二题需求💗:
客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02

③拷贝需要备份的文件到备份目录中，并进行打包

我们这里打包是为两个原因：

第一是节约空间
第二个原因我们题目中需要对备份的文件加上校验，我们用md5sum这个命令只能对文件进行校验

那么我们在这里把备份的文件分为两种一种是系统数据（/etc/fstab,/etc/hosts），一种是其他数据(/var/spool/cron).
我们把系统数据打包，打包名称取名为sys.tar.gz，把其他数据打包取名为other.tar.gz
正常命令表示：

cd / (相对路径打包)
 tar -zcvf /backup/nfs_172.16.1.31_2020.10.18/sys.tar.gz   etc/fstab etc/hosts
 tar -zcvf /backup/nfs_172.16.1.31_2020.10.18/other.tar.gz  var/spool/cron
命令   选项            打包的路径/打包名称                        打包内容

用脚本表示

cd / && \
tar czf $Dest/sys.tar.gz etc/fstab etc/hosts && \
tar czf $Dest/other.tar.gz var/spool/cron
     && 是表示并且 
     \  换行符，作用表示我这一行没有写完重启一行继续写

在这里插入图片描述

④对打包的文件进行添加标签，并把添加标签产生的随机数输入到新文件中

我们这里给备份文件加标签的工具是md5sum，md5sum只能对文件。
我们这里先做个小实验，让大家更好理解加标签和解标签的过程（对cry.txt这个文件）
把对cry.txt这个文件生产随机数导入到flag.txt,再对flag.txt 校验

md5sum -c flag.txt

在这里插入图片描述
我们这里是对备份打包文件进行添加标签（sys.tar.gz,other.tar.gz）
所以要先找到这两个文件再进行校验（这两个打包文件在备份目录下）
正常命令表示：

md5sum   /backup/nfs_172.16.1.31_2020.10.18/*.tar.gz > /backup/nfs_172.16.1.31_2020.10.18/flag_时间戳
脚本中备份目录/backup/nfs_172.16.1.31_2020.10.18 =$Dest

脚本表示

md5sum $Dest/*.tar.gz >$Dest/flag_${Date}

在这里插入图片描述
💗看客户端第三题需求💗：
客户端最后将备份的数据进行推送至备份服务器

⑤推送备份打包数据到服务端

这里用的就是我们rsync第三种守护进程传输模式，那我们服务器端一定要先提前布置好rsync服务。
用正常命令表示：

rsync -avz      /backup/     rsync_backup@172.16.1.41:backup 
PASSWORD:(输入密码1)
这里其实推送给服务端的是备份目录(nfs_172.16.1.31_2020.10.18)及备份目录下的信息，所以是/backup/

用脚本表示

RSYNC_PASSWORD=1(非交互登陆)
rsync -avz $Path/ rsync_backup@172.16.1.41:backup

在这里插入图片描述
看客户端第五题需求💗：
客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间

⑥本地保留最近7天数据

首先我们要知道我们客户端备份的数据都是放在备份目中下的
而备份目录是随着时间戳产生不同的备份目录的，那么我们保留最近7天的数据就是保留最近7天的备份目录。
正常命令表示

find /backup/ -type d -mtime +7|xargs rm -rf
把7天前的备份目录找出来删除就是保留最近7天

脚本表示

find $Path/ -type d -mtime +7 |xargs rm -rf

在这里插入图片描述
那我们这里客户端脚本就写完了，整合起来就是如下图：

#1.定义变量
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1 |awk 'NR==2{print $2}')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}
#2创建对应备份目录
mkdir -p $Dest
#3.拷贝需要备份的文件到备份目录中，并进行打包
cd / && \
tar czf $Dest/sys.tar.gz etc/fstab etc/hosts && \
tar czf $Dest/other.tar.gz var/spool/cron
#4.添加标签
md5sum $Dest/*.tar.gz > $Dest/flag_${Date}
#5.推送备份数据到服务端
export RSYNC_PASSWORD=1
rsync -avz $Path/ rsync_backup@172.16.1.41::backup
#6.保留最近7天数据
find $Path/ -type d -mtime +7 |xargs rm -rf

在这里插入图片描述

3.运行脚本

sh /server/scripts/client_rsync_data.sh

在这里插入图片描述

4.查看服务端/backup下是否有我们需要打包的数据

cd /bakcup (rsync服务 backup模块对应备份目录路径就是/backup)
ls 查看

在这里插入图片描述

🦄服务端配置（backup)

1.部署邮件服务

①安装邮件服务
yum -y install mailx

在这里插入图片描述

②配置邮件服务配置文件
[root@backup backup]# rpm -qc mailx   查询mailx服务配置文件路径
/etc/mail.rc
[root@backup backup]# vim /etc/mail.rc  编辑配置文件

进入配置文件再末行进行配置
set from=476764695@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=476764695@qq.com
set smtp-auth-password=#客户端授权码（这个就需要qq邮箱找，请看下一步）
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
③配置QQ邮箱设置

1）打开qq邮箱，点击进入设置
在这里插入图片描述
2）点击账户向下翻
在这里插入图片描述
3）找到POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务 这一行
把红框中前三个服务开启
在这里插入图片描述
4）每个服务会进行密保验证，我这里用手机短信方式
在这里插入图片描述
5）开启三个服务下面就会出现这个温馨提示，这里的授权码就是我们放在配置文件中的授权码
在这里插入图片描述
6）复制授权码到配置文件中
在这里插入图片描述
7）重新编辑邮件服务配置文件（末行书写）
在这里插入图片描述

④测试邮件能否发送成功
mail -s "测试一下是否能成功" 476764695@qq.com < /etc/hosts
命令  选项 “标题”              qq号@

在这里插入图片描述
成功！！！！
在这里插入图片描述

2.创建一个存放服务端脚本的路径

mkdir -p /server/scripts

3.编写服务端脚本（重点）

cd /server/scripts
vim server_check_data.sh
①定义变量

这里的变量和客户端定义的脚本是一样的，有环境变量和一些路径的变量需要提前定义

变量名首字母一定要大写
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Date=$(date +%F)

在这里插入图片描述

②查看flag文件，并对文件进行校验，然后将校验的结果存放到/backup/result_时间戳新文件下

我们再客户端对这个命令也进行了简单的小实验介绍，服务器这里用的命令是 md5sum -c 文件
我们要先把需要检验的文件找出来（用find命令），这个文件就是客户端的那个flag_时间戳

md5sum -c $(find $Path/ -type f  -name "flag_${Date}") > $Path/result.txt

在这里插入图片描述

③将校验的结果通知给邮件服务器
mail -s "测试一下是否能成功" 476764695@qq.com < $Path/result.txt

在这里插入图片描述

④保留6个月的数据副本
find $Path/ -type d  -mtime +180 | xargs rm -rf

在这里插入图片描述
最后整合在一起的脚本如下：

#1.定义变量
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Date=$(date +%F)
#2.服务器校验
md5sum -c $(find $Path/ -type f  -name "flag_${Date}") > $Path/result.txt
#3.将校验的结果通知给邮件服务器
mail -s "测试一下是否能成功" 476764695@qq.com < $Path/result.txt
#4.保留6个月的数据副本
find $Path/ -type d  -mtime +180 | xargs rm -rf

在这里插入图片描述

🦄任务计划

crontab -e 编辑任务计划
crontab -l 查看任务计划

我们看客户端第四题需求和服务端需求，客户端每天凌晨1点定时执行该脚本，都是用任务计划完成的。
我们这里为了实验效果能够看见我们设置客户端每隔一分钟执行一次客户端脚本，服务端每隔两分钟执行一次服务端脚本

客户端任务计划配置

crontab -e 
*/1 * * * * /bin/bash /server/scripts/client_rsync_data.sh &>/dev/null

在这里插入图片描述

服务端任务计划配置

crontab -e 
*/2 * * * * /bin/bash /server/scripts/server_check_data.sh &>/dev/null

在这里插入图片描述
配置好我们只需要等待一会，我们的邮箱就会收到邮件
在这里插入图片描述

🦄扩展另一台节点（web01）

1.我们通过链接克隆,克隆一台web01打开

如果你这里环境还是不会搭建请点击这里！！！

在web上创建一个存放脚本的路径
mkdir -p /server/scripts

在这里插入图片描述

2.用rsync第二种远程传输模式将nfs虚拟机客户端脚本传输到web01上

在nfs虚拟机上推送/server/scripts/client_rsync_data.sh 到 web的/server/scripts/下

rsync -avz  /server/scripts/client_rsync_data.sh root@172.16.1.7:/server/scripts

在这里插入图片描述

3.配置任务计划

在web01上配置任务计划
crontab -e
*/1 * * * * /bin/bash /server/scripts/client_rsync_data.sh &>/dev/null

在这里插入图片描述

4. 等等。。。。

成功！！
在这里插入图片描述

🦄优化脚本

一个好的脚本要使用在尽可能多的环境下 所以我们现在有的时候我们的脚本在有的步骤不完美，例如创建备份目录
如果已经存在我们就不要再次去执行这一步，所以这里会用到if语句，避免已经拥有的文件或者目录再次执行创建操作。

流程图

在这里插入图片描述

格式

在这里插入图片描述

最后完善脚本

客户端脚本

#1.定义变量
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1 |awk 'NR==2{print $2}')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}
#2创建对应备份目录
[ -d $Dest ] || mkdir -p $Dest
#3.拷贝需要备份的文件到备份目录中，并进行打包
cd / && \
[ -f $Dest/sys.tar.gz ] ||tar czf $Dest/sys.tar.gz etc/fstab etc/hosts && \
[ -f $Dest/other.tar.gz ] || tar czf $Dest/other.tar.gz var/spool/cron
#4.添加标签
[ -f $Dest/flag_${Date}] || md5sum $Dest/*.tar.gz > $Dest/flag_${Date}
#5.推送备份数据到服务端
export RSYNC_PASSWORD=1
rsync -avz $Path/ rsync_backup@172.16.1.41::backup
#6.保留最近7天数据
find $Path/ -type d -mtime +7 |xargs rm -rf
Kennethcry
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Rsync工具的详细介绍以及定时备份案例
bbj1030的博客
06-14 1692
rsync是类unix下的一款数据镜像备份工具——remote sync。
Rsync备份工具讲解(一)
学习进击之路
02-20 6403
文章目录什么是rsync软件什么是全量传输什么是增量传输rsync对比其他命令对比测试:rsync的特性rsync复制原理rsync的企业工作场景说明 本文将介绍inotify+rsync和sersync工具的使用方法,详细介绍rsync的相关原理,rsync的同步过程,希望给位朋友们能藉此深入rsync工具.让它成为你有利助手!
Shell脚本：使用rsync备份文件/目录
weixin_34326179的博客
05-02 160
本文我们介绍一个shell脚本，用来使用rsync命令将你本地Linux机器上的文件/目录备份到远程Linux服务器上。使用该脚本会以交互的方式实施备份，你需要提供远程备份服务器的主机名/ip地址和文件夹位置。我们使用一个单独的列表文件，在这个文件中你需要列出要备份的文件/目录。我们添加了两个脚本，第一个脚本在每次拷贝完一个文件后询问密码（如果你启用了...
Rsync 实现服务器数据备份
热门推荐
高飞的博客
05-20 20万+
Rsync 是 Linux 系统下的数据镜像备份工具 ...
inotify+rsync+shell 脚本实现实时数据同步
最新发布
邢宇宇的博客
04-17 903
应用场景：在生产环境，有时会需要两台主机的特定目录实现实时同步。比如，将NFS共享目录的数据文件，自动实时同步到备份服务器特定目录中.
RSYNC介绍 、备份、自动备份 脚本编写
weixin_63201713的博客
04-13 1662
RSYNC 简介 rsync 是一个远程同步，是一个开源的快速安全高效的异地备份工具，可以在不同的主机之间镜像同步整个目录树，支持增量备份，有保持链接和权限功能，且采用优化的同步算法，传输前执行压缩。因此非常适合异地备份，镜像服务等应用，也减少了对外暴露的软件，减少了对外暴露的端口，也减少了网络的开销 RSYNC生产场景 1、用于数据异地备份 2、用于WEB集群中节点数据的批量更新，来保持数据的一致性 3、用于yum服务器与互联网镜像站软件同步 rsync服务角色 在远程同步任
bat脚本 rsync免密码 传输windows文件到Linux系统
03-15
说明 利用cwrsync将 bat脚本，一键传输windows文件到linux，当然反过来也是可以的。 将压缩包解压到windows C盘根目录下即可。 请优先阅读“请阅读我.txt” 1、首先使用Pageant加载“putty key”文件夹中的1.ppk，这个是私钥。 Pageant在bin目录下。如果你安装过TortoiseGit的话，那么也可以使用小乌龟自带的。 2、然后将putty key文件夹下的公钥添加到目标linux下。（当然你也可以自己创建“秘钥对”） Centos添加公钥的文件是：~/.ssh/authorized_keys 3、进入到“auto_rsync_bat”文件夹下，修改批处理文件“rsync-demo.bat” 4、修改rsync-demo.bat 注意： 4.1、源目录必须使用“demo“中的样式。 4.2、其他几个变量请根据你实际操作的目录和远程主机信息来设置。
rsync定时备份脚本
asynct的博客
11-21 746
#!/bin/bash BACKUP_DIR_FILE=/cygdrive/d/backup.md EXECLUDE_FILE_LIST=/cygdrive/d/execludelist.md src_arr=($(cat $BACKUP_DIR_FILE |awk -F ',' '{print $1}')) dest_arr=($(cat $BACKUP_DIR_FILE |awk -F ',' '{print $2}')) : << ! echo "SRCS " echo ${src
Rsync 文件同步（二）：shell 脚本定时备份数据
小鲸鱼大梦想
02-14 520
【代码】Rsync 文件同步（二）：shell 脚本定时备份数据。
使用 Rsync 实现远程同步，以及实时同步
愿许浪尽天涯的博客
09-24 7101
Rsync 全称为：Remote Sync（远程同步），是一款开源的快速备份工具，可以在不同主机间镜像同步整个目录树，支持增量备份，保持链接和权限，采用优化的同步算法，传输前执行压缩，适用于异地备份，镜像服务器等应用。
嵌入式系统/ARM技术中的Linux 下通过脚本实现远程自动备份
11-07
为了克服这个问题，首先需要实现不需要密码的SSH登陆，这样就可以使用rsync，scp，rexec等命令来做的远程备份了。 　1. 设置无需密码的ssh登陆，方法如下： 　假设A，B两服务器，现在需要在A机上用root登陆B机，而...
backupScript：使用rsync命令备份指定文件夹的Python备份脚本
02-07
备份脚本 信息 这是用于将文件夹备份到外部硬盘驱动器的python脚本。 它使用命令检查在实际复制之前是否需要复制文件/文件夹。 目前，仅支持Linux系统（不知道Windows和命令如何运行）。 意向 替换重要/特殊文件的手动复制 使复制更有效率（仅复制已更改的文件）。 您可以从有关rsync命令的一些信息中进行检查。 请注意，在实际复制/备份之前，将运行空运行命令，该命令显示了实际命令将要执行的操作。 默认的命令： rsync -rltgoDvP --modify-window=1 --delete 。 用法 您必须指定要备份的文件夹/磁盘。 此信息存储在配置文件中。 配置文件： 如何将配置文件传递到脚本： 这样，您就可以在与脚本相同的目录中创建backupConfig.py文件，而无需在启动脚本时指定配置文件，因此可以这样启动脚本： python backup.py 启动
Linux下使用Rsync完成自动化备份
09-15
对于运维人员来说，数据备份是最重要的工作之一，rsync就是一款通过网络备份重要数据的工具/软件。
bkp.zip_BKP服务器_公司内网备份文件的程序
09-24
在本案例中，备份过程是通过Windows操作系统自带的任务计划功能实现的。任务计划器允许用户设定特定时间执行脚本或程序，这使得数据备份工作自动化，提高了效率，减少了人为错误。通过设置定期的备份任务，系统会在...
window Git完美使用rsync.assets.7z
09-03
3. 自动化脚本：可能提供了一些批处理脚本或bash脚本，以自动化Git和rsync的日常操作，如定时同步或提交。 总的来说，这个压缩包资源对于希望在Windows上高效使用Git和rsync的开发者来说非常有价值，它能够帮助他们...
Linux运维-运维工具箱-18个 Shell脚本经典案例-视频1-2.zip
06-06
2. **命令行工具的运用**：学习如何在脚本中嵌入常见的Linux命令，如grep、sed、awk、find、rsync等，以实现数据过滤、文件操作、文件查找等功能。 3. **文件操作**：掌握如何读取、创建、修改和删除文件，例如使用...
Script-BackUp:这些脚本每天都会在几个macOS上使用，以使其保持同步。 就我的目的而言效果很好，尽管不能保证
04-10
2. **Ubuntu**：针对Ubuntu或其他基于Debian的Linux发行版的脚本可能涉及对EXT4文件系统的备份，可能会用到`rsync`、`tar`或`dd`等命令，用于在不同Ubuntu机器间同步数据或备份到外部存储设备。 3. **License**：...
【linux】rsync实现定时备份
m0_53741670的博客
03-31 992
摘要：通过编写脚本、定时任务等实现定时备份数据
企业级数据实时备份（附通用脚本） rsync+sersync
zzixwx的博客
04-14 307
Rsync功能类似于scp，但是优于scp，还具有本地不同分区目录之间全量 及增量备份。
rsync增量备份脚本
11-16
以下是rsync增量备份脚本的介绍和使用方法： 1. rsync增量备份脚本是一种基于rsync命令的备份脚本，可以实现增量备份，即只备份修改过的文件，而不是所有文件。 2. 使用方法： - 首先将rsync-incremental-backup-remote脚本复制到A机器的/usr/bin目录。 - 配置免密登入，即在A机器上生成公钥和私钥，并将公钥复制到B机器上的authorized_keys文件中，这样就可以在A机器上执行rsync命令备份B机器上的文件了。 - 在A机器上执行rsync-incremental-backup-remote脚本，指定备份的源目录和目标目录，例如： ``` rsync-incremental-backup-remote /data/backup/ user@192.168.1.100:/data/backup/ ``` 这个命令会将A机器上的/data/backup/目录备份到B机器上的/data/backup/目录中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值