ubuntu部署rsync+crond实现定时备份

最新推荐文章于 2024-05-09 21:26:06 发布
最新推荐文章于 2024-05-09 21:26:06 发布
阅读量444 收藏 2
点赞数
分类专栏： Linux基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46380571/article/details/112863360
版权

1.rsync简介

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，**scp每次都是全量拷贝，而rsync可以增量拷贝。**当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

在同步数据的时候，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限、属主等属性的变化同步，但是需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可是实现快速的同步备份数据。

rsync - 快速，通用，可实现全量和增量的远程（和本地）文件复制工具。

rsync监听端口：873

rsync运行模式：C/S

client/server ：客户端/服务端

官方链接资料：https://www.samba.org/ftp/rsync/rsync.html

2. 有什么作用？

工作中需要定时/实时数据备份，本地服务器目录、不同机器、不同机房之间的数据备份。都可以用rsync完成

3.rsync优缺点

优点：

  1. 可以增量备份，支持socket（daemon），集中备份(支持推拉，都是以客户端为参照物)；socket（daemon）需要加密传输，可以利用vpn服务或ipsec服务。
  2. 可以限速进行数据的备份或恢复操作。
  3. 远程SHELL通道模式还可以加密（SSH）传输
  4. 支持匿名认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像]
  5. 保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p
  6. 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。（--exclude）

缺点：

  1. 大量小文件时进行同步备份，比对的时间较长，有时候会导致rsync进程停止运行或者进程挂起； 解决方法：

    a. 打包后再同步；

    b. drbd（文件系统同步复制block）。

  2. 同步大文件，比如：10G这样的，有时也会出现问题，导致rsync进程中断，未完整同步前，是隐藏文件，但是会占用磁盘空间（ls -al查看）。直到同步完成后，将隐藏文件改成正常文件。而且，每中断一次，生成一个隐藏文件。

4. rsync功能特性

支持拷贝普通文件与特殊文件，如链接文件，设备文件等；

支持排除指定文件或目录同步的功能，相当于打包命令tar的排除功能；

可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。

可以实现增量复制，既只复制发生变化的数据，因此数据传输效率很高；

可以使用rcp、rsh、ssh等方式配合进行隧道和加密传输文件（rsync本身不对数据加密）

可以通过socket（进程方式）传输文件和数据（服务端客户端）

支持匿名或认证（无需系统用户）进程模式传输，安全地进行数据备份及镜像

5.增量复制原理介绍

默认情况下，在备份复制数据时Rsync通过其独特的“quick check”算法，它仅复制大小或者修改时间发生变化的文件或目录，当然也可根据权限、属主等属性的变化复制，但需要指定相应的参数，甚至可以实现只复制一个文件里有变化的内容部分，所以可以实现快速的备份复制数据，即采用增量复制方法对数据信息进行复制，与传统cp,scp拷贝工具的全量拷贝截然不同，增量复制数据，在效率上远远高于全量复制；

在这里插入图片描述

  • 在centos5系统上，rsync的版本是2.x:

    • 同步增量复制的原理是把所有的文件比对一遍，然后进行数据同步

  • Centos6/7，rsync版本是3.x:

    • 增量复制数据原理是，一边比对，一边复制。

  • Ubuntu，rsync版本是3.x

ubuntu 14.01之后 默认安装rsync，但是没有开启；我们把他打开即可

从增量复制上而言，rsync3.x比rsync2.x更有优势！

rsync --version

底层代码算法

使用quick check算法，只对增量的部分进行复制，根据大小属性的变化进行复制。

底层代码：https://coolshell.cn/articles/7425.html

6.rsync三种工作模式

6.1本地模式（local mode ）

rsync[option]SRC[DEST]
rsync命令参数选项【源目录或文件】目的目录或文件

rsync /etc/hosts /opt

6.1.1 rsync复制 类似于cp

rsync [OPTION]... SRC...[DEST]

普通 复制 时间改变了

root@ip-172-31-17-90:~# rsync /etc/hosts /opt
root@ip-172-31-17-90:~# ls /opt
cni  containerd  gitlab  hosts
root@ip-172-31-17-90:~# \cp /etc/hosts /opt
root@ip-172-31-17-90:~# ls -l /etc/hosts /opt/hosts
-rw-r--r-- 1 root root 221 May 14  2019 /etc/hosts
-rw-r--r-- 1 root root 221 Jan  8 13:54 /opt/hosts

使用参数，保持属性；

root@ip-172-31-17-90:~# rsync -zrtopg /etc/hosts /opt/

root@ip-172-31-17-90:~# ls -l /etc/hosts /opt/hosts
-rw-r--r-- 1 root root 221 May 14  2019 /etc/hosts
-rw-r--r-- 1 root root 221 May 14  2019 /opt/hosts

Ps:

-rw-r--r--.
.是表示selinux状态的；
如果没有点就没有开启selinux
#getenforce
6.1.2通过加参数可以实现删除，相当于rm命令

清空内容

#新建空文件
root@ip-172-31-17-90:~# touch /null.txt

root@ip-172-31-17-90:~# cat /opt/hosts
127.0.0.1 localhost

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

#使用空文件进行删除
root@ip-172-31-17-90:~# rsync -r --delete /null.txt /opt/hosts
root@ip-172-31-17-90:~# cat /opt/hosts
root@ip-172-31-17-90:~#

删除文件

让后面的n和前面的/null保持一致

root@ip-172-31-17-90:~# mkdir /null
root@ip-172-31-17-90:~# mkdir -p /n/1
root@ip-172-31-17-90:~# ls /n
1

root@ip-172-31-17-90:~# rsync -r --delete /null/ /n/
root@ip-172-31-17-90:~# ls /n
6.1.3查看属性信息功能，相当于ls

查看属性

root@ip-172-31-17-90:~# rsync /etc/hosts
-rw-r--r--            221 2019/05/14 18:02:05 hosts

6.2 远程数据传输模式（remote shell mode）

借助类似ssh隧道传输数据，适合不同的机器之间的复制 类似于scp

6.2.1 远程shell传输模式语法

远程shell数据传输模式分为拉取和推送两种模式，拉取是指从远端服务器把数据拉取到服务器本地，推送是指把数据从本地推送到远端服务器，这两种传输方式的语法格式，具体说明如下：

拉取（pull）表示从远端主机把数据复制到执行命令的本地主机的相应目录

rsync [OPTION...] [USER@]HOST:SRC... [DEST]

远程shell传输数据拉取语法格式说明

rsync[OPTION][USER@]HOST:SRC[DEST]
rsync命令参数选项[认证用户]@[主机地址]:[源路径]目的路径

**推送（Push）**表示从本地主机执行命令把本地的数据复制到远端主机指定目录

rsync [OPTION...] SRC... [USER@]HOST:DEST

远程shell传输数据推送语法说明

6.3 守护进程模式 以守护进程socket的方式传输数据最常用

PULL:拉取

rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

Push:推送

rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

注意：推拉操作都是通过rsync client客户端操作的。

7.rsync的应用场景

7.1 推

在这里插入图片描述

7.2 拉

在这里插入图片描述

7.3 大量数据备份场景

在这里插入图片描述

7.4 异地备份

在这里插入图片描述

1.规划

角色IP系统
客户端192.168.197.26ubuntu-16.04
服务端192.168.197.29ubuntu-16.04

2.安装rsync

ubuntu默认安装rsync 只需打开即可

192.168.197.29

vim /etc/default/rsync
RSYNC_ENABLE=true

参数详解

参数说明
-v, --verbose详细模式输出
-a, --archive归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-z, --compress对备份的文件在传输时进行压缩处理
-P显示进度
-r, --recursive对子目录以递归模式处理
-l, --links保留软链结
-p, --perms保持文件权限
-o, --owner保持文件属主信息
-g, --group保持文件属组信息
-D, --devices保持设备文件信息
-t, --times保持文件时间信息
-e, --rsh=command指定使用rsh、ssh方式进行数据同步
–exclude=PATTERN指定排除不需要传输的文件模式
–exclude-from=FILE排除FILE中指定模式的文件
-S, --sparse对稀疏文件进行特殊处理以节省DST的空间
–bwlimit=KBPS限制I/O带宽，KBytes per second
–delete删除那些DST中SRC没有的文件
–password-file=FILE从FILE中得到密码
-n, --dry-run现实哪些文件将被传输
-w, --whole-file拷贝文件，不进行增量检测
-B, --block-size=SIZE检验算法使用的块尺寸，默认是700字节。
-x, --one-file-system不要跨越文件系统边界
-R, --relative使用相对路径信息
-b, --backup创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用–suffix选项来指定不同的备份文件前缀。
-u, --update仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件
-q, --quiet精简输出模式
-c, --checksum打开校验开关，强制对文件传输进行校验

补充参数

--delete            实现无差异数据同步
--bwlimit=KBPS      实现数据传输过程中限速
--exclude=PATTERN   指定一个文件或目录 --exclude={file1，file2} 可以排除多个无顺序规则文件或目录
--exclude-from=FILE  指定排除多个文件或目录信息，将排除信息写入到一个文件中，利用--exclude-from=排除文件名   类似于tar 打包排除命令

3.修改配置文件

192.168.197.29

cp /usr/share/doc/rsync/examples/rsyncd.conf /etc/

cat >/etc/rsyncd.conf<<"EOF"
##全局配置
uid = root #用户
gid = root #用户组 
use chroot = no   #安全相关	
max connections = 200  #最大链接数	
timeout = 300   #超时时间
pid file = /var/run/rsyncd.pid   #进程对应的进程号文件
lock file = /var/run/rsync.lock  #锁文件
log file = /var/log/rsyncd.log   #日志文件 显示错误信息

## 模块配置
[backup]     #模块名称
path = /data  #模块对应的为位置（路径）
ignore errors  #忽略错误程序
read only = false   #是否只读
list = false      #是否可以列表
hosts allow = 192.168.197.0/24  #允许客户端的网端
#hosts deny = 0.0.0.0/32      #禁止访问rsync服务器的客户范围
auth users = rsync_backup     #不存在的用户；只用户认证
secrets file = /etc/rsync.password  #设置进行连接认证的密匙文件
EOF

注意：配置文件中，行后不要有注释和空格。

4.创建rsync备份目录

192.168.197.29

mkdir -p /data

5.授权rsync用户管理备份目录

192.168.197.29

useradd rsync -s /sbin/nologin -M

6.修改备份目录权限

192.168.197.29

chown -R rsync.rsync /data/

7.创建认证用户密码文件

192.168.197.29

echo "rsync_backup:123456" >/etc/rsync.password

8.修改文件权限

192.168.197.29

chmod 600 /etc/rsync.password

9.重启rsync守护进程服务

192.168.197.29

/etc/init.d/rsync start

10. 客户端部署

192.168.197.26

cat >/etc/rsync.password<<"EOF"
123456
EOF
chmod 600 /etc/rsync.password

11. 客户端推送文件

注意：rsync默认使用873端口，防火墙开启时，需放行端口。

192.168.197.26

rsync -avz 88.txt rsync_backup@192.168.197.29::backup --password-file=/etc/rsync.password

12.客户端拉取文件

192.168.197.26

rsync -avz rsync_backup@192.168.197.29::backup --password-file=/etc/rsync.password /tmp
云原生解决方案
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
centos7下rsync+crontab定期同步备份
09-15
【标题】：“CentOS7下使用rsync+crontab实现定期备份” 【描述】：在运维工作中，定期备份服务器数据至关重要，以防止数据丢失。本文将详细介绍如何在CentOS7系统中结合rsync和crontab进行定时备份操作。 【知识...
几种文件读写方式的性能比较
疯狂的蜗牛
09-08 1836
文件读写性能受到诸多因素的影响，其中缓冲区是不容忽视的因素 1、单字节拷贝 将一个37M的文件test1.txt读出来然后写入到dest.txt，实现文件的拷贝。 示例代码： @Test public void perByteOperation() { LOGGER.info("开始单字节单字节复制文件..."); long start = System.currentTimeMillis(); try (FileInputStream fis = new FileInputStream(
Linux正则表达式
qq_42193790的博客
10-20 2053
linux正则
使用rsync服务实现远程数据同步备份+crontab实现定时备份
最新发布
qq_56104175的博客
05-09 1498
rsync具有本地和远程连他主机之间的数据快熟复制同步镜像、远程备份的功能。类似于ssh的scp命令。
hdfs 创建一个新用户
陈小哥cw
05-15 2666
需要先在linux 上创建一个普通用户： hadoop-cw,并修改密码 [root@cm1 ~]# useradd hadoop-cw [root@cm1 ~]# passwd hadoop-cw Changing password for user hadoop-cw. New password: BAD PASSWORD: The password is shorter than 8 characters Retype new password: passwd: all authentication
find命令排除某些目录或文件
冰雪世界
01-30 2万+
# 在当前目录下排除abc目录，查找所有文件 find . -path "./abc" -prune -o -print # 在当前目录下排除abc目录，查找所有以.txt结尾的文件【方式一】 find . -path "./abc" -prune -o -name "*.txt" -print # 在当前目录下排除abc目录，查找所有以.txt结尾的文件【方式二】 find . -name "*.txt" -not -path "./abc/*" # 在当前目录下排除abc和def目录，查找所有以.
hadoop分布式系统复习题 选择题
学习日常分享
07-19 7001
D 、 HDFS 有高容错性的特点，并且设计用来部署在低廉的（low- cost ）硬件上。C 、 HDFS 为海量的数据提供了存储，而 MapReduce 为海量的数据提供了计算。C 、每个文件的 Block 大小和复制（ Replication ）因子都是可配置的。D 、响应客户端的所有读写数据请求，为客户端的存储和读取数据提供支撑。B 、除了最后一个 Block ，所有的Block都是同样的大小。A 、 HDFS 既适合超大数据集存储．也适合小数据集的存储。...
利用rsync+crontab实现Linux的定时增量备份
11-19
5. **自动化备份**：结合crontab工具，可以设置定时任务，让rsync定期执行备份操作，实现自动化增量备份。 【总结】 rsync是一款强大的文件同步和备份工具，它的灵活性和效率使其成为Linux环境中不可或缺的一部分...
通过rsync+inotify实现数据的实时备份配置
09-15
【rsync+inotify 实现数据实时备份配置】 在IT领域，数据安全是至关重要的，尤其是在大规模的应用系统中。rsync作为一种高效的数据同步工具，它能够实现数据的镜像和备份，但面对需要实时同步的需求时，rsync的效率...
Ubuntu 下Rsync+Inotify-tools实现数据实时同步
12-09
Ubuntu结合Rsync和Inotify-tools和脚本实现数据的实时同步
Find命令搜索文件
不食花生的猫：http://110.40.191.51/
03-29 1880
使用Linux命令搜索文件，可以精确查找文件类型、创建时间等
find排除目录或文件
weixin_47683180的博客
06-14 3389
find排除文件或者目录
linux-文件查找-find命令-学习总结
weixin_43501172的博客
04-14 857
进入正题，说说find命令，find命令非常非常多，看的真是让人眼花缭乱，那么就按照自己的疑惑来思考问题，这样，凌乱的命令也许会有一些头绪。 1.首先需要明白find命令是用来干什么的？ find命令主要用来查找文件的，就是在linux系统中，茫茫的文件中，找到我们的目标文件。 2.find命令怎么查找文件？ find命令查找文件，就是根据属性来查找的，一个就是文件的名称（包括路径中的名称），既然是名称，第一反应就是正则表达式，可以用正则表达式来进行匹配。二是通过文件的其它属性，比如文件属主，文件权限，文件
pytorch gpu不可用 原因核查
热门推荐
yuuzhao的博客
06-15 5万+
首先检查pytorch cuda 显卡驱动 之间的对应关系 查看pytorch对应的cuda版本 打开终端输入：python 输入命令：import torch 再输入：print(torch.version.cuda) 查看pytorch 版本 print(torch.__version__) 查看 cuda 是否安装成功 查看cuda 版本 cat /usr/local/cuda/version.txt 查看是否能使用GPU import torch print(torch.cud
CentOS7 学习 3 用户、用户组
Cupcake_JackY的博客
11-25 303
用户至少要属于一个用户组。 用户 添加用户： useradd [选项] 用户名： useradd 用户名： 直接添加用户，属于一个新的用户组（这个用户组的名字=用户名） useradd -d 目录d 用户名： 添加用户，并把用户家目录指定为目录d 注意：直接登录某个用户后，默认出于/home/用户名 这个目录下，即用户的家目录。 2. 给用户设置密码 passwd 用户名 3. 删除用户 userdel [选项] 用户名： userdel 用户名： 删除用户，保留家目录。 userdel -r 用户名.
linux的find找出最新的文件,快速找到最近修改的文件！
weixin_34984850的博客
04-30 1422
导读在本文中，我们将解释两个简单的命令行小技巧，它可以帮你只列出所有的今天的文件。Linux 用户在命令行上遇到的常见问题之一是定位具有特定名称的文件，如果你知道确定的文件名则可能会容易得多。不过，假设你忘记了白天早些时候创建的文件的名称(在你包含了数百个文件的home文件夹中)，但现在你有急用。下面用不同的方式只列出所有你今天创建或修改的文件(直接或间接)。1、 使用 ls 命令，只列出你的 h...
正则表达式
07-09 667
正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 简单来说就是用一串特殊格式的字符来找到全部符合一定要求的字符串，也可以用字符串来匹配判断正则表达式。而搜索的方式可以理解为DFA或者NFA的过程。 对于正则表达式，...
高级shell扩展---sort命令
panbuhei
11-06 238
sort sort可针对文本文件的内容，以行为单位来排序。 语法 sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件] 参数 -b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。 -f 排序时，将小写字母视为大写字母。 -i 排序时，除了040至176之间的ASCII字符外，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云原生解决方案

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值