Openstack Cinder Ceph(RBD)备份恢复过程(backup/restore)

最新推荐文章于 2023-08-13 19:14:04 发布
最新推荐文章于 2023-08-13 19:14:04 发布
阅读量874 收藏
点赞数
分类专栏： openstack ceph 文章标签： openstack ceph backup 云计算
原文链接：https://blog.csdn.net/sinat_19820591/article/details/101266988
版权

转载：原文链接

概要：

本节我们讨论openstack cinder volume rbd驱动的 backup/restore操作。
Backup 是将 volume 备份到别的地方（备份设备），将来可以通过 restore 操作恢复。

Backup VS Snapshot
Backup 与 snapshot 都可以保存 volume 的当前状态，以备以后恢复。但二者在用途和实现上还是有区别的，具体表现在：

  • Snapshot 依赖于源 volume，不能独立存在；而 backup 不依赖源 volume，即便源 volume 不存在了，也可以 restore。
  • Snapshot 与源 volume 通常存放在一起，都由同一个 volume provider 管理；而 backup
    存放在独立的备份设备中，有自己的备份方案和实现，与 volume provider 没有关系。

上面两点决定了 backup 具有容灾功能；而 snapshot 则提供 volume provider 内便捷的回溯功能。

一 RBD增量备份以及恢复原理

1 创建云盘test_volume1, size=1G

()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd create volumes/test_volume1 --size 1G
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l volumes
NAME         SIZE PARENT FMT PROT LOCK 
test_volume1 1GiB          2

2 创建test_volume1快照t1和t2

()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd snap create volumes/test_volume1@test.snap.t1
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l volumes
NAME                      SIZE PARENT FMT PROT LOCK 
test_volume1              1GiB          2           
test_volume1@test.snap.t1 1GiB          2           
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd snap create volumes/test_volume1@test.snap.t2
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l volumes
NAME                      SIZE PARENT FMT PROT LOCK 
test_volume1              1GiB          2           
test_volume1@test.snap.t1 1GiB          2           
test_volume1@test.snap.t2 1GiB          2           
()[root@busybox-openstack-5c687fdc9-mpwjd /]#

3 创建增量diff

# diff from initial to t1
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd export-diff volumes/test_volume1@test.snap.t1 diff_t1_between_initial
Exporting image: 100% complete...done.
# diff from initial to t2
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd export-diff volumes/test_volume1@test.snap.t2 diff_t2_between_initial
Exporting image: 100% complete...done.
# diff from t1 to t2
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd export-diff --from-snap test.snap.t1 volumes/test_volume1@test.snap.t2  diff_t1_between_t2
Exporting image: 100% complete...done.
()[root@busybox-openstack-5c687fdc9-mpwjd /]# ls -l |grep diff
-rw-r--r--     1 root root    39 Sep  4 10:52 diff_t1_between_initial
-rw-r--r--     1 root root    56 Sep  4 10:52 diff_t1_between_t2
-rw-r--r--     1 root root    39 Sep  4 10:52 diff_t2_between_initial

4 通过增量diff创建备份

()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd create backups/backup_image --size 1G
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l backups
NAME         SIZE PARENT FMT PROT LOCK 
backup_image 1GiB          2    
# import diff from initial to t1
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd import-diff diff_t1_between_initial backups/backup_image
Importing image diff: 100% complete...done.
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l backups
NAME                      SIZE PARENT FMT PROT LOCK 
backup_image              1GiB          2           
backup_image@test.snap.t1 1GiB          2   
# import diff from t1 to t2
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd import-diff diff_t1_between_t2 backups/backup_image
Importing image diff: 100% complete...done.
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l backups
NAME                      SIZE PARENT FMT PROT LOCK 
backup_image              1GiB          2           
backup_image@test.snap.t1 1GiB          2           
backup_image@test.snap.t2 1GiB          2

二 ceph备份时实现：

1. 创建云盘volume-id，大小为1G

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd create volumes/volume-id --size 1G
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l volumes |grep volume-id
volume-id         1GiB                          2

2. 先尝试进行diff store， 创建backups中的base盘

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd create backups/volume-volume-id.backup.base --size 1G
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l backups
NAME                         SIZE PARENT FMT PROT LOCK 
volume-volume-id.backup.base 1GiB          2

3. 创建volume-id快照1，命名规则如下

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd snap  create volumes/volume-id@backup.backup-id.snap.time1
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l volumes |grep volume-id
volume-id                                 1GiB                       2           
volume-id@backup.backup-id.snap.time1     1GiB                       2

4. 导出云盘和快照1的差异1

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd export-diff volumes/volume-id@backup.backup-id.snap.time1 test_diff_snap_time1
Exporting image: 100% complete...done.
()[root@busybox-openstack-f7bcf88-hgdkz /]# ls
test_diff_snap_time1

5. 将差异1导入到backups的base盘中，此时base盘生成了一个快照

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd import-diff test_diff_snap_time1 backups/volume-volume-id.backup.base
Importing image diff: 100% complete...done.
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l backups
NAME                                                     SIZE PARENT FMT PROT LOCK 
volume-volume-id.backup.base                             1GiB          2           
volume-volume-id.backup.base@backup.backup-id.snap.time1 1GiB          2

6. 第二次做增量备份时， 创建volume-id新的快照2

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd snap  create volumes/volume-id@backup.backup-id2.snap.time2
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l backups
NAME                                                     SIZE PARENT FMT PROT LOCK 
volume-volume-id.backup.base                             1GiB          2           
volume-volume-id.backup.base@backup.backup-id.snap.time1 1GiB          2           
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l volumes |grep volume-id
volume-id                                                                                     1GiB                                                                                                        2           
volume-id@backup.backup-id.snap.time1                                                         1GiB                                                                                                        2           
volume-id@backup.backup-id2.snap.time2                                                        1GiB                                                                                                        2

7. 导出快照1和快照2的差异2

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd export-diff --snap backup.backup-id.snap.time1 volumes/volume-id@backup.backup-id2.snap.time2 test_diff_snap_time1_time2
Exporting image: 100% complete...done.

8. 将差异2导入backups的base盘，此时base盘又生成了一个新的快照

()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd import-diff test_diff_snap_time1_time2 backups/volume-volume-id.backup.base
Importing image diff: 100% complete...done.
()[root@busybox-openstack-f7bcf88-hgdkz /]# rbd ls -l backups
NAME                                                      SIZE PARENT FMT PROT LOCK 
volume-volume-id.backup.base                              1GiB          2           
volume-volume-id.backup.base@backup.backup-id.snap.time1  1GiB          2           
volume-volume-id.backup.base@backup.backup-id2.snap.time2 1GiB          2

9. 删除volume-id的快照1

10. 如果diff store出现异常， 会通过full store来备份， 通过将云盘按照chunk=128M分片拷贝数据到新的云盘。

11. 备份元数据

三 RBD恢复备份的实现：

1 先检查是否满足diff restore, 需要满足下面条件

check can  diff restore:
1 base exist: backups/volume-volume-id.backup.base
2 restore point snapshot exist: backups/volume-volume-id.backup.base@backup.backup-id.snap.time1
3 volume file is rbd
4 backup[volume_id] !=  new volume_id
5 rbd volume has no extents (extend)

2. 如果满足diff restore条件， 先导出对应backup-id的差异

()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd export-diff  backups/volume-volume-id.backup.base@backup.backup-id1.snap.time1 test_diff_backup_id2
Exporting image: 100% complete...done.

3. 将对应backup-id的差异导入new-volume-id

()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd import-diff test_diff_backup_id2 volumes/new-volume-id
Importing image diff: 100% complete...done.
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l volumes
NAME                                       SIZE PARENT FMT PROT LOCK 
new-volume-id                              1GiB          2           
new-volume-id@backup.backup-id1.snap.time1 1GiB          2           
volume-id                                  1GiB          2           
volume-id@backup.backup-id1.snap.time1     1GiB          2

4. 如果new volume的大小与备份的大小不一致，导入差异后需要resize。

()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd create volumes/new-volume-id2 --size 2G
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd import-diff test_diff_backup_id2 volumes/new-volume-id2
Importing image diff: 100% complete...done.
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l volumes
NAME                                        SIZE PARENT FMT PROT LOCK 
new-volume-id                               1GiB          2           
new-volume-id@backup.backup-id1.snap.time1  1GiB          2           
new-volume-id2                              1GiB          2           
new-volume-id2@backup.backup-id1.snap.time1 1GiB          2           
volume-id                                   1GiB          2           
volume-id@backup.backup-id1.snap.time1      1GiB          2           
()[root@busybox-openstack-5c687fdc9-mpwjd /]# 
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd resize volumes/new-volume-id2 --size 2G
Resizing image: 100% complete...done.
()[root@busybox-openstack-5c687fdc9-mpwjd /]# rbd ls -l volumes
NAME                                        SIZE PARENT FMT PROT LOCK 
new-volume-id                               1GiB          2           
new-volume-id@backup.backup-id1.snap.time1  1GiB          2           
new-volume-id2                              2GiB          2           
new-volume-id2@backup.backup-id1.snap.time1 1GiB          2           
volume-id                                   1GiB          2           
volume-id@backup.backup-id1.snap.time1      1GiB          2

5. 如果不满足diff restore条件，或者在diff restore过程中出现异常，进行full restore， 通过将云盘按照chunk=128M分片拷贝数据到新的云盘。

6. 恢复元数据

Ber1in5
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
OpenStack实践(六):Cinder模块Backup and Restore Volume
weixin_33729196的博客
01-17 266
环境说明：主机名操作系统版本IP地址说明centos7centos7172.27.9.181NFS服务器，挂载点为/backupopenstack-controllerUbuntu 16.04.5172.27.34.37openstack控制节点，本地nfs挂载点为cinder_backupubuntu安装详见：Ubuntu16.04.5以lvm方式安装全记录openstac...
Restore Volume 操作 - 每天5分钟玩转 OpenStack（60）
weixin_33836223的博客
07-15 106
2019独角兽企业重金招聘Python工程师标准>>> ...
ceph的rbd备份软件ceph-backup
IT- 研究者
11-20 932
teralytics是一家国外的大数据公司，这个是他们开源的ceph的备份的工具，在twitter上搜索相关信息的时候看到，觉得不错就拿来试用一番 一、这是个什么软件 一个用来备份ceph的RBD的image的开源软件，提供了两种模式 增量：在给定备份时间窗口内基于rbd快照的增量备份 完全：完整映像导出时不包含快照 注意一致性：此工具可以生成rbd图像的快照，而不会感知到它们的文件系统的状态，注意下rbd快照的一致性限制（http://docs.ceph.com/docs/hammer/rbd/r
ceph 对象存储元数据恢复备份
b779789251的博客
03-11 1456
1, 使用s3broswer上传一个10MB的文件 2, 备份rgw元数据 1) 获取所有bi 2) 获取某个bi 将输出定向到一个文件中 3, 删除元数据 使用s3broswer工具发现数据被删除 4, 恢复元数据 5, 确认数据恢复 1) 2) 使用s3browers查看, 数据成功恢复，下载下...
ceph存放mysql备份_ceph-backup对块设备进行备份与恢复
weixin_39575737的博客
02-23 176
[root@node191 media]# cephbackupStarting backup for pool rbdIncremental ceph backupImages to backup:rbd/zhangBackup folder: /home/rbd-backup/Compression: TrueCheck mode: Falserbd image 'zhang':size 10...
在Devstack中使能Cinder的Ceph RBD driver
FinixLei的专栏 (https://github.com/FinixLei)
12-01 628
假设已经有了一个DevStack和一个Ceph集群，如何使DevStack上的Cinder能用上Ceph作为其存储后端呢？ 以下步骤如未做特殊说明，都是在DevStack虚机上操作。 1. 使该DevStack VM变成一个Ceph client 1.1 安装 ceph-common yum install ceph-common # 或者 apt install ceph-common 1....
OpenStack cinder对接Ceph实验手册
最新发布
02-01
OpenStack cinder对接Ceph实验手册
openstack-ceph-train.txt
09-24
openstack train版本，cinder glance nova对接ceph
openstack+ceph非常详细整合安装部署.pdf
11-20
openstack+ceph非常详细整合安装部署，网上openstack+ceph文档很多，90%都是只讲openstack与ceph整合部分、也没有讲整合后如何验证。此文档包括详细拓扑图、openstack与ceph一步一步详细安装步骤，配置参数讲解。
openstack与ceph整合安装指导文档.docx
01-25
openstack与ceph整合安装指导文档.docx
OpenStack与ceph集成文档.docx
05-20
OpenStack与ceph集成文档,步骤详细没详细配置文档
cinder云硬盘备份恢复
吴业亮的专栏
04-01 2971
作者：【吴业亮】云计算开发工程师 博客：http://blog.csdn.net/wylfengyujiancheng一、备份一个云硬盘 1、查看需要备份的云硬盘的 ID 或 Display Name：# cinder list2、备份云硬盘：# cinder backup-create VOLUME3、运行以下命令检查云硬盘备份是否已经成功完成：# cinder backup-list4、使
opentsack-cinder调用ceph-rbd后台存储
weixin_34184561的博客
08-22 246
openstack 调用ceph-rbd块存储 环境描述openstack 版本 QUEENSceph 版本 Luminous 12.2.5 openstack和ceph集群安装部署步骤，后续文章介绍；此环境建立在已有一套ceph-rbd和openstack运行正常的环境； 块存储调用关系逻辑图如下： openstack-cinderopenstack需要先安装一套cinder服务，可以选择安装在...
openstack备份云主机还原
qq_33970713的博客
07-09 668
云主机创建实例的xml文件存放位置是：/etc/libvirt/qemu 云主机如果带有数据云硬盘的话，其xml文件中的表示是： 第一个是作为系统盘 第二个是作为数据云硬盘 <disk type='block' device='disk'> <driver name='qemu' type='raw' cache='none' io='native'/> <source dev='/dev/sde'/> <target
理解 OpenStack 高可用（1）：OpenStack 高可用和灾备方案（上）
qq_34043421的博客
05-16 1193
1. 基础知识1.1 高可用 （High Availability，简称 HA）高可用性是指提供在本地系统单个组件故障情况下，能继续访问应用的能力，无论这个故障是业务流程、物理设施、IT软/硬件的故障。最好的可用性， 就是你的一台机器宕机了，但是使用你的服务的用户完全感觉不到。你的机器宕机了，在该机器上运行的服务肯定得做故障切换（failover），切换有两个维度的成本：RTO （Recovery...
Backup Volume 操作 - 每天5分钟玩转 OpenStack（59）
weixin_33920401的博客
07-13 189
本节我们讨论 volume 的 Backup 操作。 Backup 是将 volume 备份到别的地方（备份设备），将来可以通过 restore 操作恢复。 Backup VS Snapshot 初看 backup 功能好像与 snapshot 很相似，都可以保存 volume 的当前状态，以备以后恢复。但二者在用途和实现上还是有区别的，具体表现在： Snapshot...
Openstack快照恢复实例
xixixilalalahaha的博客
02-03 1460
前期准备 部署OpenStack，部署详细步骤可参考:https://blog.csdn.net/xixixilalalahaha/article/details/107760621 实例制作快照 查看快照信息 #找出快照的ID [root@controller ~]# glance image-list 下载快照到本地 [root@controller ~]# glance image-download --file /tmp/test.img 快照ID 快照转化为QCOW2 [root@contr
OpenStack之cinder基于快照恢复磁盘bug解决过程
程序的战歌
08-31 856
OpenStack之cinder基于快照恢复磁盘bug解决过程 现象 OpenStack，使用基于快照恢复磁盘数据的功能，但是恢复不成功。 问题的原因 最终发现，是ceph的相关配置文件名的命名必须是一字不差才行。 我们这就因为改变了ceph的keyring文件名，导致触发了这个bug。 解决过程 第一件事，打开debug模式，就可以看到更详细的日志： vi /etc/cinder/cinder.conf debug=true 查看日志： tail -f /var/log/
云计算|OpenStack|使用VMware安装华为云的R006版CNA和VRM---初步使用（二）
zsk_john的技术分享专用博客
08-13 2435
​ 在前面一篇文章云计算|OpenStack|使用VMware安装华为云的R006版CNA和VRM---初始安装（一）_华为cna_晚风_END的博客-CSDN博客 介绍了基于VMware虚拟机里嵌套部署华为云的云计算，不过仅仅是做到了在VRM的web界面添加计算节点CNA，后续的存储和网络创建并没有介绍，虚拟机的创建也没有，本文将补全这些内容。 ​
openstack 加密ceph rbd卷时， qemu librbd block_luks dm-crypt 之间的关系
06-06
在OpenStack中，当使用Ceph RBD作为后端存储时，可以通过qemu和librbd来实现加密卷的创建和管理，同时使用block_luks和DM-Crypt对数据进行加密和解密。 具体来说，当用户在OpenStack中创建加密卷时，OpenStack会调用Ceph RBD API在Ceph集群中创建一个加密池，用于存储加密卷。然后，OpenStack会使用qemu-img工具在该加密池中创建一个raw格式的磁盘镜像。接下来，OpenStack会使用librbd将该磁盘镜像映射为一个块设备，并将其挂载到OpenStack的虚拟机中。 此时，用户可以使用block_luks命令对该块设备进行加密，并生成一个加密密钥。然后，用户可以使用DM-Crypt将该块设备加密，并将加密密钥存储在Ceph集群中的加密池中的密钥环中。 当用户向加密卷中写入数据时，数据首先被写入到内存中的块设备缓存中，然后通过DM-Crypt加密模块进行加密，加密后的数据被写入到Ceph RBD存储池中。当用户读取数据时，数据首先从Ceph RBD存储池中读取出来，然后通过DM-Crypt解密模块进行解密，解密后的数据被返回给用户。这样，数据在存储和传输过程中都能够得到加密保护。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值