restic开源跨平台备份工具 —— 筑梦之路

最新推荐文章于 2024-06-05 09:39:58 发布
最新推荐文章于 2024-06-05 09:39:58 发布
阅读量1k 收藏 22
点赞数 47
分类专栏： linux系统运维 文章标签： 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34777982/article/details/137508520
版权
本文详细介绍了Restic，一个快速、安全、高效的备份工具，支持多种存储选项，包括本地、云存储以及通过Rclone挂载的存储。文章涵盖了Restic的设计原则、术语、安装方法，以及如何在本地和远程环境中进行备份、检查、恢复和管理存储。
摘要由CSDN通过智能技术生成

github仓库：GitHub - restic/restic: Fast, secure, efficient backup program

文档地址：Restic Documentation — restic 0.16.4 documentation

支持类型

  • 本地存储
  • SFTP
  • REST Server
  • Amazon S3
  • Minio Server
  • OpenStack Swift
  • Backblaze B2
  • Microsoft Azure Blob Storage
  • Google Cloud Storage
  • 通过 Rclone 挂载的存储 (比如：Google Drive、OneDrive 等)

设计原则

  • 简单：备份应该是一个顺畅的过程，否则您可能会想跳过它。 Restic 应该易于配置和使用，以便在数据丢失的情况下，您可以直接恢复它。同样，恢复数据不应该很复杂。
  • 快速：用restic备份你的数据应该只受你的网络或硬盘带宽的限制，这样你就可以每天备份你的文件。如果需要太多时间，没有人会进行备份。恢复备份应该只传输要恢复的文件所需的数据，这样这个过程也很快。
  • 可验证：比备份更重要的是恢复，因此restic使您可以轻松验证所有数据是否可以恢复。
  • 安全：Restic 使用加密技术来保证您数据的机密性和完整性。假设存储备份数据的位置不是受信任的环境（例如，系统管理员等其他人能够访问您的备份的共享空间）。 Restic 旨在保护您的数据免受此类攻击者的侵害。
  • 高效：随着数据的增长，额外的快照应该只占用实际增量的存储。更重要的是，在将重复数据实际写入存储后端之前，应该对其进行去重，以节省宝贵的备份空间。

相关术语

  • Repository：备份期间产生的所有数据都以结构化形式发送并存储在存储库中，例如在具有多个子目录的文件系统层次结构中。存储库实现必须能够完成许多操作，例如列出内容。v0.12.0中已支持的存储服务包括：aws s3，minio server，Wasabi， Aliyun OSS， OpenStack Swift，Backlbaze B2，Azure Blob Storage，Google Cloud Storage，rclone*

  • Blob：Blob 将多个数据字节与识别信息（如数据的 SHA-256 哈希及其长度）,加密的数据块及元数据，其中元数据包括长度，SHA-256 哈希信息。数据块可以存放文件数据（data），也可以存放目录结构数据（tree）。Blob的大小在512KiB到8MiB之间，因此小于512KB的文件不会被拆分。Restic的实现目标是让Blob平均大小为1MiB。

  • Pack：一个包结合了一个或多个 Blob，例如在单个文件中。Restic中的单个数据文件，包括一个或多个Blob，一旦创建不再修改。

    一般只创建不删除，仅prune操作会删除不再被引用的数据。

  • Snapshot：快照代表在某个时间点已备份的文件或目录的状态。这里的状态是指内容和元数据，如文件或目录及其内容的名称和修改时间。

  • Storage ID：Pack文件的SHA256哈希值，通过这个ID可以在仓库中加载需要的数据文件。Restic将这个ID作为Pack的文件名，也就是文件的SHA256哈希值。Pack文件名即哈希值的设计也可以方便的检验数据文件是否被改动过。

安装restic

对于不同操作系统参考文档：Installation — restic 0.16.4 documentation

我这里使用源码安装

# 拉取源码
git clone https://github.com/restic/restic

# 切换目录
cd restic

# 编译源码
go run build.go

# 配置自动补全
./restic generate --bash-completion /etc/bash_completion.d/restic

本地备份

环境说明：192.168.100.100

初始化备份

restic -r /backup/ init

备份 

restic -r /backup backup /wwww
restic -r /backup backup /opt/nginx/conf

# 检查快照

restic -r /backup/ check

restic -r /backup/ snapshots

 挂载备份

restic -r /backup mount /r

清理快照

# 清理快照，只保留最新的2个

restic -r /backup/ forget --keep-last 2 --prune

# 删除指定的快照ID
restic -r /srv/restic-repo forget bdbd3432


# 清理磁盘文件
restic -r /srv/restic-repo prune

 

sftp主机间备份

环境说明：

主机A  192.168.100.100

主机B  192.168.100.101

ssh免密：

# 主机A 上

ssh-keygen -t rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.100.101

初始化备份

# 主机A上操作

restic -r sftp:root@192.168.100.101:/data_backup init

 备份

# 主机A 上操作 备份当前目录

restic -r sftp:root@192.168.100.101:/data_backup backup ./

# 查看备份

restic -r sftp:root@192.168.100.101:/data_backup snapshots

# 查看备份内容

restic -r sftp:root@192.168.100.101:/data_backup ls [snapshotsID]

恢复

# 主机A上操作 恢复到当前目录

restic -r sftp:root@192.168.100.101:/data_backup restore [snapshotsID] -t ./

restic -r sftp:root@192.168.100.101:/data_backup restore [snapshotsID] --target ./

 删除备份

# 主机A 上操作

restic -r sftp:root@192.168.100.101:/data_backup forget [snapshotsID]

指定密码文件

# 主机A上操作

#先将密码保存在/root/resticpasswd文本中
echo 'xxzxxxxxx' > /root/resticpasswd

#然后在备份命令中加--password-file参数来读取文本中的密码，这里以sftp为例

restic -r sftp:root@192.168.100.101:/data_backup --verbose backup ./ --password-file /root/resticpasswd

结合MinIO进行备份

1. cocker-compose搭建minio集群

version: '3.7'
services:
  sidekick:
    image: dalongrong/sidekick:v0.1.8
    tty: true
    ports:
    - "80:80"
    command: --health-path=/minio/health/ready --address :80 http://minio{1...4}:9000
  gateway:
    image: minio/minio:RELEASE.2020-04-04T05-39-31Z
    command: gateway s3 http://sidekick
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    ports:
    - "9000:9000"
  minio1:
    image: minio/minio:RELEASE.2020-04-04T05-39-31Z
    volumes:
      - data1-1:/data1
      - data1-2:/data2
    ports:
      - "9001:9000"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
      MINIO_BROWSER: "off"
    command: server http://minio{1...4}/data{1...2}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
  minio2:
    image: minio/minio:RELEASE.2020-04-04T05-39-31Z
    volumes:
      - data2-1:/data1
      - data2-2:/data2
    ports:
      - "9002:9000"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
      MINIO_BROWSER: "off"
    command: server http://minio{1...4}/data{1...2}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
  minio3:
    image: minio/minio:RELEASE.2020-04-04T05-39-31Z
    volumes:
      - data3-1:/data1
      - data3-2:/data2
    ports:
      - "9003:9000"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
      MINIO_BROWSER: "off"
    command: server http://minio{1...4}/data{1...2}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
  minio4:
    image: minio/minio:RELEASE.2020-04-04T05-39-31Z
    volumes:
      - data4-1:/data1
      - data4-2:/data2
    ports:
      - "9004:9000"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
      MINIO_BROWSER: "off"
    command: server http://minio{1...4}/data{1...2}
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
volumes:
  data1-1:
  data1-2:
  data2-1:
  data2-2:
  data3-1:
  data3-2:
  data4-1:
  data4-2:
  • minio 集群的部署，参考官方文档，使用了4个节点8块盘的模式，同时使用sidecar sidecar 模式代理4个minio 节点 
  • 默认minio集群没有开启browwer ui 通过gateway 模式提供，对于数据的访问通过sidekick暴露的80 端口

2. 配置环境变量

export AWS_ACCESS_KEY_ID=minio
export AWS_SECRET_ACCESS_KEY=minio123

3. 初始化存储库

restic -r s3:http://localhost/backup init

4. 备份数据

restic -r s3:http://localhost/backup backup ./

5. 查看备份快照

restic -r s3:http://localhost/backup snapshots

# 查看备份内容

restic -r s3:http://localhost/backup ls 875a2a23

 6. 恢复快照

restic -r s3:http://localhost/backup restore 875a2a23 -t ./

以上每一步操作都需要输入密码，为了能自动化备份，优化如下：

# 创建环境变量文件
vim ~/.restic-env

export AWS_ACCESS_KEY_ID=<your-minio-access-key>
export AWS_SECRET_ACCESS_KEY=<your-minio-secret-access-key> 
export RESTIC_REPOSITORY="s3:http://your-minio-ip-address:9000/restic"
export RESTIC_PASSWORD="your-strong-repository-password"

source ~/.restic-env

# 初始化

restic init

# 备份

restic --verbose backup ~/openlake

# 查看快照

restic snapshots

# 比较快照

restic diff 1c334016 d7044fee

# 恢复快照到指定位置

restic restore 1c334016 --target /tmp/restore-openlake

restic restore latest --target /tmp/restore-new-openlake

# 定时任务，自动化备份
30 * * * * ./home/merry/.restic-env; restic backup -q /home/merry/openlake; restic forget -q --keep-last 2 --prune

筑梦之路
关注
  • 47
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开源备份工具bacula
IDCzhan的博客
05-08 478
BACULA安装     Bacula是一款开源的跨平台网络备份工具，提供基于企业级的CS的备份解决方案。可以对数据进行备份、恢复、以及完整性校验。 功能特点 支持完全备份，增量备份，差异备份。 支持多种恢复方式 支持多种文件系统下的备份恢复（ext3、ext2、reiserfs、xfs、jfs、smbfs、iso9660、ntfs等） 支持各种备份介质 支...
UrBackup:开源客户端/服务器网络备份系统-开源
05-08
适用于Linux，macOS和Windows的高效客户端服务器备份系统。 Windows，FreeBSD和Linux的客户端使您可以备份打开的文件并完成分区映像（Windows）。 备份以有效方式（重复数据删除）存储在Windows或Linux服务器上的磁盘上。
restic-gui:用于从Restic恢复浏览快照的GUI
05-25
介入 这是用构建的备份程序的GUI。 目前，它只能查看快照并从快照还原。 开发脚本 # install dependencies yarn install # run application in development mode yarn dev # compile source code and create webpack output yarn compile # `yarn compile` & create build with electron-builder yarn dist # `yarn compile` & create unpacked build with electron-builder yarn dist:dir
强大的开源备份工具：UBackup - 简单、安全、可定制
gitblog_00014的博客
03-30 351
强大的开源备份工具：UBackup - 简单、安全、可定制 项目地址:https://gitcode.com/lustlost/ubackup UBackup 是一个由 LustLost 开发的开源备份解决方案，旨在提供一种简单、安全且高度可定制的方式来保护你的数据。通过利用 Git 的版本控制特性，UBackup 可以确保你的文件和目录的历史记录得到妥善保存，并随时可以恢复。 技术分析 UBac...
推荐开源备份神器：Pika Backup
最新发布
gitblog_00043的博客
06-05 435
推荐开源备份神器：Pika Backup 项目地址:https://gitcode.com/pika-backup/pika-backup 在数字化的时代里，数据安全成为了我们生活和工作中不可或缺的一部分。因此，拥有一款简单易用且可靠的备份工具至关重要。今天，我将向您推荐一款开源备份软件——Pika Backup，它将帮助您轻松地管理您的个人数据备份。 项目介绍 Pika Backup是一款基于G...
MySQL 社区开源备份工具 Xtrabackup 详解
分享既学习
11-14 8122
数据库备份恢复是 DBA 的 “保命” 技能，生产业务不仅要保证有合适的备份策略，也要定期验证备份的有效性和恢复演练流程，因为数据恢复和验证可能会涉及多方合作，演练可以让灾难真正发生时，多方配合有条不紊的将数据恢复，从而尽可能的减少 RTO 让业务快速恢复。Xtrabackup 是 MySQL 社区唯一一款开源物理热备工具，本篇文章将详细介绍 DBA 如何使用它，以及备份恢复的详细步骤。
restic-windows-backup:Powershell脚本可在Windows上运行Restic备份
05-06
Restic Windows备份 Powershell脚本可在Windows上运行Restic备份。 简化了安装和运行每日备份的过程。 特征 VSS（卷快照服务）支持-备份所有内容，不必担心打开/使用中的文件 易于安装- install.ps1脚本下载Restic，初始化restic库，并设置了一个Windows任务计划任务每天运行备份 备份，维护和监视是自动化的backup.ps1脚本句柄 通过电子邮件发送每次执行的结果，包括出现问题时的日志文件 运行例行维护（定期修剪和检查存储库中的错误） 并且，当然要备份您的文件。 安装说明 创建您的Restic存储库 这取决于您来选择要将数据移至何处。 Minio，B2，S3，我的天哪。 安装脚本 创建脚本目录： C:\restic 从下载脚本，并将其解压缩到C:\restic 以管理员身份启动PowerShell 将工作目录更改为C:\
linux 开源 备份,开源备份也简单 免费Linux备份工具推荐
weixin_30828697的博客
05-13 257
从国外相关资料了解，很多中小企业用户常常会因为某种原因而丢失重要的数据，特别是在开源架构平台下，这会导致用户时间甚至业务运营上的损失。针对这种情况，市场中先后出现了很多的Linux备份工具，特别是一些著名的备份软件可以有效提供用户容灾备份的保障，但是成本上的付出是中小企业所不能承受的。目前，大多数的备份工具还提供压缩数据技术，便于用户更加有效地存储数据，有的备份数据还会在复制的时候对数据进行加密。...
开源分布式版本控制工具 —— Git 之旅.docx
02-14
开源分布式版本控制工具 —— Git 之旅 Git 是一个开源的分布式版本控制软件，由 Linus Torvalds 于 2005 年开发，旨在解决 Linux 内核维护工作中的繁琐事务。Git 的设计思想是分布式代码库与文件快照，相比于传统...
C设计模式——基于Qt4开源跨平台开发框架
07-22
资源名称：C 设计模式——基于Qt4开源跨平台开发框架资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
CrippleSqueal:备份所有 MSSQL 数据库-开源
06-30
此应用程序将对 MS SQL 服务器上的所有数据库进行完整备份。 我写它是因为禁用“SQL 服务器代理”从而导致 SQL express 瘫痪，因此自动备份程序。 Brian Simonsen (brian@evigmail.dk) 更新为不再使用临时文件（因此在第一次运行时应该可以工作:-)
开源服务器监控工具——zabbix
02-24
服务器监控工具功能相当强大，无论何时何地，我们都可以了解到服务器的功能以及性能。服务器监控工具的使用，可以让我们清楚的知道用户可以打开我们的网站，且确保网速不慢。只有这样做，才能留住宝贵的用户，以免...
5C++设计模式--基于Qt4开源跨平台开发框架 完整清晰版中文PDF.zip
03-31
好东西一定得分享，自己现阶段需要好好学习一下QT。C++设计模式--基于Qt4开源跨平台开发框架 完整清晰版中文PDF。好东西而且分数不贵！解压密码qt。
【GitHub项目推荐--10个免费开源数据备份工具，适用于Windows、MacOS、Linux】【转载】
j8267643的博客
03-22 1953
随着互联网、数字化的发展，数据不论对于企业还是个人都至关重要。然而，在当前的网络环境和系统环境下，数据有时会因硬件故障，系统崩溃、意外删除、恶意软件攻击、自然灾害等因素造成丢失。因此使用备份软件对一些重要数据进行备份是数据资产管理必备的活动。对于企业而言，备份软件可以确保业务连续性并最大限度地降低数据丢失的风险。它允许组织从任何数据相关事件中快速恢复，减少停机时间和潜在的财务损失。对于个人来说，备份软件同样重要，因为它可以保护个人文件、文档、照片等有价值的数据。
保护你无价的数据 | 推荐一个开源备份工具，可去重、增量、压缩、还原到特定日期...
悟道西方
05-19 1113
Borg 数据备份Borg 的优势是高效：BorgBackup 会将文件按数据块去重，只有改动的数据块才会被备份。一个 25 GiB 的虚拟机磁盘文件，只改动了 1 GiB，那就只会新增备份这 1 GiB 的数据；高速：核心算法使用 C 编译，使用缓存快速跳过未改动过的文件以加快备份速度；加密：数据默认是 AES-256 加密并且 HMAC-SHA256 校验的；压缩：支持多种压缩算法，可自动检测...
开源一套数据异地备份系统
weixin_34038293的博客
06-12 251
简介此系统解决游族2w+个数据库实例（包括mysql,redis,ssdb）的异地灾备每天大概40w+个备份文件（99%的数据库实例进行每小时备份策略）每天40TB+数据量进行异地传输支持任意备份此系统只负责备份异地传输，不负责如何备份 具体备份脚本用户自行编写，只要按照要求把备份信息写入对应日志文件即可备份脚本规范 1.每次都是全备的方式（例如redis通过RDB每次都...
Restic文件备份工具
MyySophia的博客
06-27 1462
Restic 是一款 GO 语言开发的开源免费且快速、高效和安全的跨平台备份工具。Restic 使用加密技术来保证你的数据安全性和完整性，可以将本地数据加密后传输到指定的存储。Restic 同样支持增量备份，可随时备份和恢复备份。Restic 支持大多数主流操作系统，比如：Linux、macOS、Windows 以及一些较小众的操作系统 FreeBSD 和 OpenBSD 等。Restic优势Restic 每次备份都会生成一个快照，记录当前时间点的文件结构，可以找回特定时间点的文件。
鸿蒙os编码_鸿蒙OS开源代码精要解读之——init
05-24
init 是 Android 系统中的第一个用户空间进程，主要负责系统的初始化和启动。在鸿蒙OS中，也有类似的 init 进程。 init 进程在系统启动时被内核启动，它的 PID 是 1。init 进程会读取系统配置文件，然后启动其他系统服务进程，例如 Zygote 进程、System Server 进程等，最终启动系统桌面。 在鸿蒙OS中，init 进程的代码位于 system/core/init 目录下。init 进程的主要代码是 init.cpp，它是一个 C++ 程序。 init 进程的主要功能包括： 1. 读取系统配置文件 init 进程会读取 /etc/init.rc 文件，这个文件包含了系统启动时需要执行的命令。init 进程会按照文件中定义的顺序依次执行这些命令。 2. 启动系统服务进程 init 进程会启动一系列的系统服务进程，例如 ueventd 进程、logd 进程等。这些服务进程负责系统的底层功能，例如设备管理、日志管理等。 3. 启动应用进程 init 进程还会启动应用进程和系统组件进程，例如 Zygote 进程、System Server 进程等。这些进程负责系统的高级功能，例如应用程序的启动、窗口管理等。 总之，init 进程是鸿蒙OS系统启动的关键进程，它负责系统的初始化和启动，为后续的系统服务和应用程序提供了基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值