rsync搭建全网备份

于 2024-08-30 17:31:08 发布
阅读量430 收藏 5
点赞数 22
分类专栏： # 备份服务器 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010230019/article/details/141682071
版权

rsync搭建全网备份

在这里插入图片描述

1. 总体概述

1.1 目标

本次搭建目标：

  1. 每天定时把服务器数据备份到备份服务器
  2. 备份完成后进行校验
  3. 把过期数据删除（普通服务器数据保留7天，备份服务器数据保留1年）
  4. 完成后邮件通知

1.2 简易指导图

在这里插入图片描述

1.3 涉及工具或命令

  1. rsysnc：备份工具，守护进程模式
  2. cron：定时任务
  3. md5sum：MD5校验工具
  4. mailx：邮件
  5. tar、find、date等等

1.4 环境

服务器ip系统版本说明
backup-svr-01192.168.202.128CentOS Linux release 7.9.2009 (Core)备份服务器
data-svr-01192.168.202.128CentOS Linux release 7.9.2009 (Core)数据服务器

2. 实施

在每个步骤中，会把具体的需求细化分解

2.1 配置备份服务器

  1. 创建备份目录
[root@backup-svr-01 ~]# chown rsync.rsync /backup/
[root@backup-svr-01 ~]# ll /backup/ -d
drwxr-xr-x 2 rsync rsync 6 Aug 29 16:39 /backup/
  1. 创建rsync进程使用的用户
[root@backup-svr-01 ~]# useradd -s /sbin/nologin -M rsync
[root@backup-svr-01 ~]# id rsync
uid=1003(rsync) gid=1004(rsync) groups=1004(rsync)

客户端连到备份服务器用rsync用户访问权限访问数据，这个用户只提供访问权限，所以不需要登录shell

  1. 创建客户端访问备份服务器的账户
[root@backup-svr-01 ~]# echo "rsync_bak_01:rsync" > /etc/rsync.passwd
[root@backup-svr-01 ~]# cat /etc/rsync.passwd
rsync_bak_01:rsync
[root@backup-svr-01 ~]# chmod 400 /etc/rsync.passwd
[root@backup-svr-01 ~]# ll /etc/rsync.passwd
-r-------- 1 root root 19 Aug 29 16:51 /etc/rsync.passwd
  1. 编译rsync的配置文件

没有安装rsync可以通过yum install -y rsync安装

[root@backup-svr-01 ~]# cat /etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode

uid = rsync
gid = rsync
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
# exclude = lost+found/
# transfer logging = yes
timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
fake super = yes
[backup]
path = /backup/						#备份到服务器的目录
ignore errors
read only = false
list = false
hosts allow = 192.168.202.0/24		#允许的IP范围
hosts deny = 0.0.0.0/32				#其他IP都禁止
auth users = rsync_bak_01
secrets file = /etc/rsync.passwd

配置完成后重启rsyncd服务

[root@backup-svr-01 ~]# systemctl restart rsyncd
  1. 测试rsync

首先在客户端配置密码文件

[root@data-svr-01 ~]# cat /etc/rsync.passwd
rsync

传输测试

[root@data-svr-01 ~]# rsync -avz /etc/hosts rsync_bak_01@192.168.202.128::backup --password-file=/etc/rsync.passwd
sending incremental file list
hosts

sent 187 bytes  received 43 bytes  153.33 bytes/sec
total size is 254  speedup is 1.10

[root@backup-svr-01 ~]# ll /backup/
total 4
-rw-r--r-- 1 rsync rsync 254 May  9  2023 hosts

2.2 备份文件准备

这里我们在普通服务器（客户端），把一些常用文件，重要数据等内容进行备份，视具体情况而定

本次示例中以/etc目录为例

  1. 创建备份数据存放目录
[root@data-svr-01 ~]# mkdir /data

这里我们把备份数据存放在/data/ip目录中

mkdir -p /data/`ip a s ens33|sed -rn '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`

取IP可以有多种方式，例如：

[root@data-svr-01 ~]# hostname -I|awk '{print $1}'
192.168.202.129
[root@data-svr-01 ~]# ip a s ens33|awk 'BEGIN{FS="inet |/24"} NR==3{print $2}'
192.168.202.129
  1. 打包数据，并以时间进行区分

打包数据

[root@data-svr-01 ~]# tar zcf /data/`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`/etc.`date +%F`.tar.gz /etc/
tar: Removing leading `/' from member names

查看

[root@data-svr-01 ~]# tree /data/
/data/
└── 192.168.202.129
    └── etc.2024-08-29.tar.gz

1 directory, 1 file

后面我们会把这些命令整理到脚本中，目前只是测试

2.3 整合命令

我们把前面用到的命令整合到脚本中，并进行测试

  1. 编写脚本
[root@data-svr-01 scripts]# cat etc_bak2svr.sh
#!/bin/bash
#author yurq

#set -e

. /etc/profile


ip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128


if [ ! -d /data/$ip ];then
    mkdir -p /data/$ip
fi

tar zcf /data/$ip/etc.$time.tar.gz /etc/

if [ $? -ne 0 ];then
    echo "tar etc failed"
fi

ls /data/$ip/etc.$time.tar.gz

if [ $? -ne 0 ];then
    echo "etc.$time.tar.gz lost found."
fi

rsync -avz /data/$ip/etc.$time.tar.gz rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd


if [ $? -ne 0 ];then
    echo "rsync failed"
fi
  1. 测试脚本
    客户端
[root@data-svr-01 scripts]# rm -rf /data/*
[root@data-svr-01 scripts]# sh etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
etc.2024-08-29.tar.gz

sent 10,207,860 bytes  received 43 bytes  4,083,161.20 bytes/sec
total size is 10,411,198  speedup is 1.02

服务器

[root@backup-svr-01 ~]# ll /backup/
total 10168
-rw-r--r-- 1 rsync rsync 10411198 Aug 29 19:42 etc.2024-08-29.tar.gz

这并不是我们想要的，rsync我们在使用的时候，应该把ip构建的目录也带上一起传过去

  1. 修改脚本
rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd

把这行给了就可以了，注意ip后不要加/

  1. 清理环境，重新上传
[root@data-svr-01 scripts]# sh etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
192.168.202.129/
192.168.202.129/etc.2024-08-29.tar.gz

sent 10,207,905 bytes  received 47 bytes  6,805,301.33 bytes/sec
total size is 10,411,198  speedup is 1.02

[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    └── etc.2024-08-29.tar.gz

1 directory, 1 file
  1. 校验文件
    写到这笔者想起来还应该带上MD5校验文件，修改脚本
[root@data-svr-01 data]# cat /scripts/etc_bak2svr.sh
#!/bin/bash
#author yurq

#set -e

. /etc/profile


ip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128


if [ ! -d /data/$ip ];then
    mkdir -p /data/$ip
fi

tar zcf /data/$ip/etc.$time.tar.gz /etc/

if [ $? -ne 0 ];then
    echo "tar etc failed"
fi

ls /data/$ip/etc.$time.tar.gz

if [ $? -ne 0 ];then
    echo "etc.$time.tar.gz lost found."
fi

rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd


if [ $? -ne 0 ];then
    echo "rsync failed"
fi

cd /data/
md5sum $ip/etc.$time.tar.gz > $ip/etc.md5

if [ $? -ne 0 ];then
    echo "make md5 failed"
fi

验证

[root@data-svr-01 data]# sh /scripts/etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
192.168.202.129/
192.168.202.129/etc.2024-08-29.tar.gz
192.168.202.129/etc.md5

sent 3,513 bytes  received 19,446 bytes  4,174.36 bytes/sec
total size is 10,411,270  speedup is 453.47
[root@data-svr-01 data]# cat 192.168.202.129/etc.md5
f9a218d7b059fa412fdecef06d27f469  192.168.202.129/etc.2024-08-29.tar.gz

[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    ├── etc.2024-08-29.tar.gz
    └── etc.md5

1 directory, 2 files
  1. 下面编辑定时任务，每天晚上2点备份
    首先，编辑一个任务每分钟的任务进行测试，毕竟不能等到晚上2点再验证
[root@data-svr-01 data]# cat /var/spool/cron/root
* * * * * sh /scripts/etc_bak2svr.sh &>/dev/null

[root@data-svr-01 data]# tail -f /var/log/cron
...
Aug 30 03:26:01 data-svr-01 CROND[65599]: (root) CMD (sh /scripts/etc_bak2svr.sh &>/dev/null)
...
[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    ├── etc.2024-08-29.tar.gz
    ├── etc.2024-08-30.tar.gz
    └── etc.md5

1 directory, 3 files

任务正常完成了，不过发现一个问题，md5文件把之前的冲掉了，所以需要修改脚本

md5sum $ip/etc.$time.tar.gz > $ip/etc.$time.md5

制作md5的时候加上日期

  1. 清除环境，再次验证。另外发现，md5在上传之后增加的，实际是不对的，调整执行顺序。
[root@data-svr-01 scripts]# cat etc_bak2svr.sh
#!/bin/bash
#author yurq

#set -e

. /etc/profile


ip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128


if [ ! -d /data/$ip ];then
    mkdir -p /data/$ip
fi

tar zcf /data/$ip/etc.$time.tar.gz /etc/

if [ $? -ne 0 ];then
    echo "tar etc failed"
fi

ls /data/$ip/etc.$time.tar.gz

if [ $? -ne 0 ];then
    echo "etc.$time.tar.gz lost found."
fi


cd /data/
md5sum $ip/etc.$time.tar.gz > $ip/etc.$time.md5

if [ $? -ne 0 ];then
    echo "make md5 failed"
fi

rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd


if [ $? -ne 0 ];then
    echo "rsync failed"
fi
[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    ├── etc.2024-08-30.md5
    └── etc.2024-08-30.tar.gz

1 directory, 2 files

2.4 扩展功能

  1. 添加清除过期备份，客户端备份保留7天
[root@data-svr-01 scripts]# mkdir /tmp/etc_backup
[root@data-svr-01 scripts]# ll /home/
total 0
[root@data-svr-01 scripts]# mkdir /home/yurq
[root@data-svr-01 scripts]# cp -r /etc/* /home/yurq/
[root@data-svr-01 scripts]# find /etc/ -type f -mtime +7|xargs -I file mv file /tmp/etc_backup/
[root@data-svr-01 scripts]# ll /tmp/etc_backup/
total 22300
-rwxr-xr-x. 1 0   0    8702 Jul 28  2020 00_header
-rw-r--r--. 1 0   0     232 May  9  2023 00-keyboard.conf
-rwxr-xr-x. 1 0   0     175 May 22  2020 00-netreport
-rwxr-xr-x. 1 0   0    1043 Mar 21  2019 00_tuned
-rwxr-xr-x. 1 0   0     232 Jul 28  2020 01_users
-rwxr-xr-x. 1 0   0     392 Aug  8  2019 0anacron
...

创建目录，并拷贝/etc/内容进行测试，完成后把查找目录改为备份数据目录

find /data/ -type f -mtime +7|xargs -I file mv file /tmp/etc_backup/

把命令添加到脚本中

  1. 添加邮件通知
echo "test" |mailx -s "test" xxx@163.com

这里最好申请企业邮箱，发送太多条邮件到个人邮箱，可能被邮箱系统拦截

壹只菜鸟
关注
  • 22
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
playbook搭建rsync全网备份服务、nfs服务、sersync实时同步服务_ansible playbook rsync
2401_83621784的博客
04-15 320
可以在剧本中定时任务改为每分钟，单个拿出模块测试一下是否能备份，是否可以收到邮件。ansible-playbook -C sersync.yml 检查剧本。然后在邮箱配置文件/etc/mail.rc追加此邮箱配置。–start-at-task=模块名 指定任务执行。把此文件推送到backup服务器上，覆盖源文件。1.书写分发秘钥脚本保证SSH远程连接服务。5.本地创建剧本执行nfs网络文件系统服务。如果已经批量分发过秘钥，此步不需要执行。剧本可能会有很多瑕疵，欢迎补充。
linux全网备份的原理,Linux面试题分享：Rsync（全网备份）和NFS（文件系统）
weixin_30562541的博客
05-12 128
1.1 全网备份(rsync)html1.1.1.1 ssh2 的默认监听端口是：， ssh 的配置文件是linux1.1.1.2 服务器 172.24.138.3 上有/data/postmall/tomcat/aaa 目录，须要将该机上的 aaa 目录传至 172.24.138.4 服务器/data/postmall/tomcat 下，scp 命令如何写面试1.1.1.3 在 192.168....
rsync全网备份数据
weixin_43473720的博客
03-07 289
1.项目准备 CentOS7 3台服务器主机web01、backup、nfs01 主机规划 web01服务器 外网 192.168.232.8/24 内网 172.16.1.8/24 NFS存储服务器 外网 192.168.232.31/24 内网 172.16.1.31/24 backup备份服务器 外网 192.168.232.31/24 内网 172.16.1.31/24 2.克隆生成服务器 1)更改主机名称 hostnamectl set-hostname
playbook搭建rsync全网备份服务、nfs服务、sersync实时同步服务
linux丶晨星
06-02 989
任务：一键执行Rsync全网备份、NFS共享目录、sersync实时同步三个服务 ansible官网链接：https://docs.ansible.com/ansible/latest/modules/modules_by_category.html 一、守护进程+全网备份 ##在完成一键批量执行服务前要保证SSH远程连接服务秘钥分发成功 1.配置ansible主机列表 1.书写分发秘钥脚本...
Rsync备份服务及全网备份项目实践
hawava的博客
07-22 804
目录rsync是什么rsync软件使用本地备份数据远程备份数据删除数据查看文件rsync命令语法格式本地备份远程备份守护进程备份rsync服务部署安装 rsync是什么 Rsync是一款开源的、快速的、多功能的、可实现全量以及增量的本地或远程数据同步备份的优秀工具。rsync可以在不改变原有数据的属性信息的情况下，实现数据的备份迁移。其适用于unix/linux/windows等多种操作系统。 Rsync是一个快速通用的文件复制工具，它可以本地复制、远程复制，或者远程守护进程方式复制。它提供了大量的参数来
Linux - 全网备份项目
saienenen的博客
11-24 446
11.全网备份项目 1.基本备份要求 已知 3 台服务器主机名分别是 web01 backup nfs01，主机信息如下表： 服务器说明 外网IP(NAT) 内外IP（NAT） 主机名称 nginx web服务器 10.0.0.7/24 172.16.1.7/24 web01 NFS 存储服务器 10.0.0.31/24 172.16.1.31/24 nfs01 rsync 备份服务器 10.0.0.41/24 172.16.1.41/24 backup 要求：每天晚上 00
day10、nfs+rsync全网备份及实时同步
weixin_30782331的博客
10-24 197
题目要求 注意：博主使用的系统为： [root@web01 ~]# uname -a Linux web01 2.6.32-696.el6.x86_64 #1 SMP Tue Mar 21 19:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux 实例1-1 服务器及IP主机名规划 已知 4 台服务器主机名主机对应信息见下表： ...
搭建WEB、NFS共享、sersync实时同步以及全网定时备份服务流程
weixin_45120972的博客
04-18 313
本次实验的主要目的： 1.搭建web服务，使用nfs服务共享的/data目录挂载到web站点目录上。 2.nfs服务器与backup服务器使用sersync实时同步/data目录中的文件。 3.backup服务器作为rsync服务端，全网服务器定时备份到backup上，并且给web服务提供备用nfs共享。 服务器主机名及IP划分： web服务器：hostname:web01 WAN IP：10.0...
rysnc一键搭建脚本
08-12
《使用rsync构建全网备份系统的详解》 在IT运维工作中，数据安全是至关重要的，而备份策略则是保障数据安全的重要手段。rsync是一款强大的、开源的文件同步工具，广泛应用于系统备份、数据迁移等场景。本文将详细...
centos8+java14+hadoop-3.3.0搭建hadoop集群（全网最新）
ycfn97的博客
08-04 1759
最近在学hadoop集群的搭建，网上常见的教程是基于centos7.5，java8，和hadoop2搭建的，由于笔者比较喜欢新技术，这里就作死使用最新的环境进行搭建，希望大家能提出意见一起进步。 基础配置：3台安装完环境的centos8虚拟服务器。包括java14，mysql8.0，hadoop-3.3.0。基础环境的搭建过于简单，笔者用的是官方的压缩包，这里不再赘述（但是要注意$PATH环境的配置） 笔者所用的包： drwxr-xr-x. 14 1001 1001 266 8月 4 08:
rsync守护进程服务配置详解
Linux小白
05-03 685
01-day28-综合架构之备份服务 00.课程介绍部分 1）完成rsync守护进程模式搭建 2）rsync备份传输数据原理 3）rsync命令的常用参数 4）企业应用rsync技巧 5）企业项目：全网备份项目（脚本） 01.课程知识回顾 1）综合架构的组成部分 前端：防火墙，负载均衡、web服务器 后端：数据库服务器，存储服务器，缓存服务器，备份服务器 扩展：批量管理，...
Linux基础知识（一、什么是Linux）
心寒的博客
08-26 1665
什么是Linux Linux创始人
Linux中的常见命令——用户管理命令
qq_45569925的博客
08-27 1088
默认创建用户的时候会在home文件夹下创建一个与用户同名的文件夹【该用户的主目录】，也可以在创建用户的时候设置该用户主目录的名称。【输入的密码是不在控制台显示的，输入完之后直接按回车键即可】使用wgh用户查看root下的文件。【此时的用户是没有密码的】给创建的用户设置密码。查看某个用户是否存在。
linux 系统如何进行nfs（第五节）
最新发布
weixin_44767571的博客
08-30 118
首先是 在虚拟机中的操作。然后是在开发板上的操作。
Linux报错：make[2]: *** No rule to make target ‘/usr/local/lib/libopus.a‘
VIFIN的博客
08-27 591
解决报错：make[2]: *** No rule to make target '/usr/local/lib/libopus.a'
等保-Linux等保测评
2301_82000839的博客
08-26 550
等保-Linux等保测评
Linux——进程管理
m0_67677309的博客
08-29 993
1、通过fork创建的子进程会拷贝父进程(数据段、bss段、堆、栈、I/O缓冲区)，与父进程共享代码段、子进程会继承父进程的信号处理方式。ITIMER_VIRTUAL 虚拟计时器 用户态的计时SIGVTALRM(26)**使用的时候要对应。ITIMER_REAL 真实计时器 程序总的计时时间SIGALRM(14)void (*sa_restorer)(void);// 第一次产生时钟信号的时间 **3秒钟一次，每个两秒。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值