Rook Ceph Snapshot的清理

已于 2024-06-20 15:36:54 修改
阅读量601 收藏
点赞数
分类专栏： kubernetes 文章标签： kubernetes
于 2022-07-05 20:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54323634/article/details/125615210
版权

目录

问题

背景知识

Ceph rbd快照

VolumeSnapshotContent和rbd快照

删除一个rbd snapshot

删除多个rbd snapshot

参考

问题

平时用k8s进行开发测试时，如果使用了rbd的snapshot，并且清理不及时的话，或者清理方法有问题，可能会遇到以下的情况：

  • VolumeSnapshotContent不多

  • 但是Ceph的snapshot很多

最终可能会导致Ceph不可用，比如因为disk空间不够。

背景知识

Ceph rbd快照

Ceph的rbd快照从定义来看，就是一个只读的image。Ceph官方文档建议在创建snapshot的时候把应用的IO停掉，或者先执行fsfreeze，这样得到的就是一个数据一致可用的快照。

由于Ceph image的layering设计，可以支持在一个快照之上快速的创建出一个可以读写的clone。

一个快照的clone从行为上跟一个普通的rbd image一样，可以读写、创建clone等。

VolumeSnapshotContent和rbd快照

通过CSI创建一个PV的VolumeSnapshot之后，会得到一个VolumeSnapshotContent，例如：

[root@sandrider~ ]# kubectl get volumesnapshotcontents.snapshot.storage.k8s.io snapcontent-062c610c-0c73-4963-9909-a5ff5c480234 -o yaml
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotContent
...
...
status:
  creationTime: 1656475215498012908
  readyToUse: true
  restoreSize: 5368709120
  snapshotHandle: 0001-0009-rook-ceph-0000000000000001-fb1a79b8-f75f-11ec-925f-bafec6769230

这里的snapshotHandle就指向一个Ceph的rbd device。进入Rook Ceph的toolbox查看某个snapshot image：

sh-4.4$ rbd ls -l replicapool | grep snap | grep fb1a79b8-f75f-11ec-925f-bafec6769230
csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230

接着可以通过rbd info来查看这个snapshot的信息：

sh-4.4$ rbd info replicapool/csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230
rbd image 'csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230':
        size 5 GiB in 1280 objects
        order 22 (4 MiB objects)
        snapshot_count: 1
        id: 1f461bdf3d46fc
        block_name_prefix: rbd_data.1f461bdf3d46fc
        format: 2
        features: layering, deep-flatten, operations
        op_features: clone-child
        flags:
        create_timestamp: Wed Jun 29 04:00:15 2022
        access_timestamp: Wed Jun 29 04:01:54 2022
        modify_timestamp: Wed Jun 29 04:00:15 2022
        parent: replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@075d721c-9e5d-496c-814f-3c65f364a34e
        overlap: 5 GiB

这时要注意的是，rbd在创建VolumeSnapshot的过程中，实际上一个VolumeSnapshot会对应创建出一个rbd snapshot和一个rbd的image，可以通过rbd ls -l看到：

sh-4.4$ rbd ls -l replicapool | grep snap | grep fb1a79b8-f75f-11ec-925f-bafec6769230
csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230 5 GiB replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@075d721c-9e5d-496c-814f-3c65f364a34e 2
csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230@csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230 5 GiB replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@075d721c-9e5d-496c-814f-3c65f364a34e

对应了两条记录，其中第一个csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230应该是rbd image，第二个csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230@csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230才是rbd snapshot。

分别通过rbd info查看：

sh-4.4$ rbd info replicapool/csi-snap-8ce9ced7-f81a-11ec-925f-bafec6769230
rbd image 'csi-snap-8ce9ced7-f81a-11ec-925f-bafec6769230':
        size 5 GiB in 1280 objects
        order 22 (4 MiB objects)
        snapshot_count: 1
        id: 1e97c38c9c5d0d
        block_name_prefix: rbd_data.1e97c38c9c5d0d
        format: 2
        features: layering, deep-flatten, operations
        op_features: clone-child
        flags:
        create_timestamp: Thu Jun 30 02:15:45 2022
        access_timestamp: Thu Jun 30 02:18:40 2022
        modify_timestamp: Thu Jun 30 02:15:45 2022
        parent: replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@f6958495-d367-450b-8e8c-164607ee0816
        overlap: 5 GiB

下面是rbd snapshot csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230@csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230:

sh-4.4$ rbd info replicapool/csi-snap-8ce9ced7-f81a-11ec-925f-bafec6769230@csi-snap-8ce9ced7-f81a-11ec-925f-bafec6769230
rbd image 'csi-snap-8ce9ced7-f81a-11ec-925f-bafec6769230':
        size 5 GiB in 1280 objects
        order 22 (4 MiB objects)
        snapshot_count: 1
        id: 1e97c38c9c5d0d
        block_name_prefix: rbd_data.1e97c38c9c5d0d
        format: 2
        features: layering, deep-flatten, operations
        op_features: clone-child
        flags:
        create_timestamp: Thu Jun 30 02:15:45 2022
        access_timestamp: Thu Jun 30 02:18:40 2022
        modify_timestamp: Thu Jun 30 02:15:45 2022
        protected: False
        parent: replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@f6958495-d367-450b-8e8c-164607ee0816
        overlap: 5 GiB

除了snapshot的信息多了一个protected: False之外，其他信息都一样。上面两个都是一个child的clone，都指向同一个parent：

sh-4.4$ rbd info replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c
rbd image 'csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c':
        size 5 GiB in 1280 objects
        order 22 (4 MiB objects)
        snapshot_count: 4
        id: 16fa679a999612
        block_name_prefix: rbd_data.16fa679a999612
        format: 2
        features: layering, operations
        op_features: clone-parent, snap-trash
        flags:
        create_timestamp: Sun Jun 26 09:54:50 2022
        access_timestamp: Thu Jun 30 16:02:12 2022
        modify_timestamp: Sun Jun 26 09:54:50 2022

由此可以推断，在创建VolumeSnapshot的时候，ceph的rbd实际上创建了一个只读的snapshot，又创建了一个snapshot的clone，这个clone跟一个普通的image表现一样。

删除一个rbd snapshot

1、假设用户误删了一个VolumeSnapshotContent

[root@~ ]# kubectl get volumesnapshotcontents.snapshot.storage.k8s.io snapcontent-062c610c-0c73-4963-9909-a5ff5c480234 -o yaml
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotContent
...
  uid: fb5744f8-c747-4f94-8e6a-8c33cebfe6c1
spec:
  deletionPolicy: Retain
...
  snapshotHandle: 0001-0009-rook-ceph-0000000000000001-fb1a79b8-f75f-11ec-925f-bafec67692

在Retain状态下删掉一个VolumeSnapshotContent：

[root@~ ]# kubectl delete volumesnapshotcontents.snapshot.storage.k8s.io snapcontent-062c610c-0c73-4963-9909-a5ff5c480234
volumesnapshotcontent.snapshot.storage.k8s.io "snapcontent-062c610c-0c73-4963-9909-a5ff5c480234" deleted

2、查看rbd snapshot状态 这时发现这个snapshot还在：

sh-4.4$ rbd ls -l replicapool | grep snap | grep fb1a79b8-f75f-11ec-925f-bafec6769230
csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230 5 GiB replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@075d721c-9e5d-496c-814f-3c65f364a34e 2
csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230@csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230 5 GiB replicapool/csi-vol-054bf61a-f536-11ec-97e2-727ae8d37c4c@075d721c-9e5d-496c-814f-3c65f364a34e 2

对应了两条记录，其中第一个csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230是clone image，第二个csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230@csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230是rbd snapshot。

3、删除rbd snapshot 删除时，对rbd snapshot和rbd image要分别进行删除：

sh-4.4$ rbd snap rm replicapool/csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230@csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230
Removing snap: 100% complete...done.
sh-4.4$ rbd rm replicapool/csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230
Removing image: 100% complete...done.
删除完，可以通过rbd ls进行确认。

删除多个rbd snapshot

1、进入ceph的toolbox pod

kubectl exec -it -n rook-ceph rook-ceph-tools-xxx-xxx -- sh

2、查看现有的snapshot

rbd ls replicapool | grep snap | wc -l

以上命令可以判断出snapshot的数量，如果超过几十个，但是VolumeSnapshotContent又没几个，就可以考虑清理了。

3、清理

清理的时候，如果VolumeSnapshotContent数量比较少，那推荐先把所有的VolumeSnapshot和VolumeSnapshotContent都删掉，然后再做ceph snapshot的清理。否则还得exclude出不需要清理的rbd snapshot。

主要清理的命令如下：

  • 清理snapshot

rbd ls -l replicapool | grep snap | awk 'BEGIN {s2="replicapool";OFS="/"} {print s2,$1}' | grep @ | xargs -n 1 rbd snap rm

  • 清理snapshot的clone

rbd ls -l replicapool | grep snap | awk 'BEGIN {s2="replicapool";OFS="/"} {print s2,$1}' | grep -v @ | xargs -n 1 rbd rm

参考

1、https://docs.ceph.com/en/mimic/rbd/rbd-snapshot/

2、https://docs.ceph.com/en/quincy/man/8/rbd/#examples

骥步科技
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
k8s rook-ceph MountDevice failed for volume pvc An operation with the given Volume ID already exists
weixin_40548182的博客
04-24 75
如果挂载不上使用 telnet xx.xx.xx.xx:6789 ，正常是能通的，或者 curl xx.xx.xx.xx:6789（注意curl要取消操作系统中的代理配置）正常也是通的。kubeadm 搭建的 k8s 集群，rook-ceph 部署的 ceph 存储，mon pod 所在宿主机和挂载客户端机器 pod 所在机器不在一个二层网络里。xxxxxxxx 为 /etc/ceph/keyring中的key，这个文件在 rook-ceph-tools-xxxxx 这个 pod 中有。
【Ceph】Ceph快照的原理和实现--未消化
小鱼菜鸟的博客
07-22 652
快照原理 1、先了解一下文件系统的知识 https://blog.csdn.net/bandaoyu/article/details/125375996?spm=1001.2014.3001.5501 2、快照原理 https://blog.csdn.net/bandaoyu/article/details/120421383 http://t...
ceph快照分析
06-11
ceph的基本的特性之一，就是支持rbd的snapshot和clone功能。Ceph都可以完成秒级别的快照。 ceph支持两种类型的快照，一种poo snaps，也就是是pool级别的快照，是给整个pool中的对象整体做一个快照。另一个是self managed snaps. 目前rbd的快照就这类，用户写时必须自己提供SnapContex信息
rbd快照管理、rbd快照克隆原理与实现、rbd镜像开机自动挂载、ceph文件系统、对象存储、配置对象存储客户端、访问Dashboard
最新发布
m0_52686092的博客
07-24 836
root@client1 ~]# rbd snap rm img1 --snap img1-sn1 # 不能删。[root@client1 ~]# vim /etc/ceph/rbdmap # 指定要挂载的镜像及用户名、密钥。[root@client1 ~]# vim /etc/hosts # 添加以下内容。[root@client1 ~]# rbd --help # 查看子命令。[root@client1 ~]# ls /mnt/ # 数据还原完成。
K8S 1.12大特性最快最深度解析：Kubernetes CSI Snapshot（上）
weixin_30414155的博客
03-22 175
​ 背景 许多存储系统提供了创建存储卷“快照”（snapshot）的能力，以防止数据丢失。快照可以替代传统的备份系统来备份和还原主要数据和关键数据。快照能够快速备份数据（例如，创建GCE PD快照仅需要几分之一秒）， 并提供快速恢复时间目标（RTO）和恢复点目标（RPO）。快照还可用于数据复制、分发和迁移。 早在kubernetes 1.8版本中，卷快照系统原型已经发布,其实...
k8s中清除已安装的rook-ceph集群
zh_admini的博客
04-11 1990
删除依赖的资源 kubectl delete -f ../wordpress.yaml kubectl delete -f ../mysql.yaml kubectl delete -n rook-ceph cephblockpool replicapool kubectl delete storageclass rook-ceph-block kubectl delete -f csi/cephfs/kube-registry.yaml kubectl delete storageclass csi-ce
rook部署ceph代码修改及卸载硬盘清理脚本
07-09
在这个主题中，我们主要关注如何使用Rook来部署Ceph集群，以及如何对代码进行修改和在卸载硬盘后进行清理。以下是关于这两个工具及其相关操作的详细说明。 Rook是一个云原生存储操作系统，它允许在Kubernetes或...
云原生-基于k8s部署-分布式底层存储-Rook-Ceph
06-13
在卸载Rook-Ceph集群时，务必先清理相关Pod，然后在主节点上删除Operator和相关CRD（CustomResourceDefinition）。同时，要谨慎地清除集群主机上的Ceph数据和硬盘设备，因为这可能导致数据丢失，务必在此之前做好...
rook安装ceph镜像
03-15
本镜像适用于rook版本为1.7
k8s-rook-ceph
03-02
【k8s-rook-ceph】是一个专为 Kubernetes（k8s）设计的存储解决方案，它利用 Ceph 存储系统来提供持久化存储服务。Rook 是一个云原生的存储操作系统，它将存储软件包装成 Kubernetes 集群内的 Operator，允许用户...
rook-ceph:安装程序Rook在Kubernetes上使用Ceph
04-06
结合Rook，Ceph可以在Kubernetes集群中以声明式的方式提供存储服务，确保高可用性和可扩展性。 在Kubernetes上安装Rook-Ceph的步骤大致如下： 1. **准备环境**： 确保你有一个运行稳定的Kubernetes集群，并且集群...
MountVolume.MountDevice failed for volume “pvc“ ...问题解决
热门推荐
小末的博客
06-11 1万+
一、问题描述 Warning FailedMount 44s (x2 over 108s) kubelet MountVolume.MountDevice failed for volume "pvc-e09f23da-f21b-4365-a24b-528d026355ee" : rpc error: code = Aborted desc = an operation with the given Volume ID 0001-0009-rook-ceph-000000
删除rbd的数据后ceph空间没有释放
...
07-27 3728
删除ceph挂载卷中的数据后ceph空间没有释放 ​ ​ 有一个集群的ceph的存储空间被k8s的pod占满了，客户也不愿意扩容。现在就只能看可不可以删除一些不用的文件来释放一些存储空间，发现mysql占用的数据比较大，然后清理快40G的binlog，在容器中通过df -h查看已经是减少的了。但ceph df查看的使用率并没有变化，就很懵比~。由此引发了一些思考 文件系统是怎么删除文件的呢？ 删除文件的过程： 以/var/log/messages这个文件为例，删除messages这个文件的过程大致如下：
kubevirt 虚拟机基于ceph rbd的导出导入和数据恢复
qinshitao的博客
05-14 912
目录 1.ceph rbd数据恢复思路： 2.kubevrit虚拟机pvc导出（全量）： 3.修改rook toolbox.yaml将本地目录挂载到pod中： 4.全量导出 rbd export 5.全量导入： 6.将新的rbd image 恢复到虚拟机中 1.ceph rbd数据恢复思路： 1、为rbd image创建快照：rbd snap create 2、将快照导出成文件备份 （1）全量导出：rbd export （2）增量导出：rbd expor...
将硬盘从ceph中彻底释放出来
xkjscm的博客
03-21 992
#!/bin/sh # 注意：极端操作 # 本脚本将会把正常运行的osd全部删除，并且将硬盘从lvm恢复为普通单盘（删除记忆），数据将不可恢复；用于极端情况下释放硬盘操作 # 注意：极端操作 # osd_id=`ceph osd tree | grep up| awk '{print $3}'` for var in ${osd_id} do echo "deleting $var" # 从crush中移除节点 ceph osd crush remove ${var} # 删除节点认证（不删除.
ceph 更换故障硬盘过程
kozazyh的专栏
04-11 4926
ceph 更换磁盘过程：1.找出故障的磁盘[root@etcd-host2 ~]# ceph osd map kube rbd_id.test-02.img故障前：osdmap e62 pool 'kube' (2) object 'rbd_id.test-02.img' -> pg 2.26004a5e (2.5e) -> up ([1,2,0], p1) acting ([1,2,...
CEPH-RBD备份/恢复/删除备份
weixin_44856211的博客
03-22 1785
CEPH-RBD备份/恢复/删除备份
ceph snapshot
Instant_Nebula的博客
03-21 230
参照ceph文档一些记录 快照通常通过调用.snap目录中的mkdir创建，该目录一般隐藏，在directory list中不可见。 snapshot在获取时创建了一个文件系统的不可变视图，具有以下两个特点： 任意子树。快照可以在很热选择的directory创建，并且覆盖该directory下所有文件系统的data。 异步。“creating”的过程很快，但buffered data flush out较慢。 main structure SnapRealm：在新的节点创建快照时会产生的结构，或者当
k8s安装rook-ceph
05-09
要在 Kubernetes 中安装 Rook Ceph，可以按照以下步骤进行： 1. 确保 Kubernetes 集群已经安装并运行。 2. 安装 Helm，可以从 Helm 官网下载最新版本的 Helm，然后按照官方文档安装。 3. 添加 Rook Helm 仓库： ``` helm repo add rook-release https://charts.rook.io/release ``` 4. 安装 Rook Ceph，使用以下命令： ``` helm install --namespace rook-ceph rook-release/rook-ceph ``` 这将在 rook-ceph 命名空间中安装 Rook Ceph。 5. 等待 Rook Ceph 安装完成。可以使用以下命令检查安装状态： ``` kubectl -n rook-ceph get pods ``` 等到所有 pod 的状态都为 Running 时，Rook Ceph 就已经安装完成了。 6. 配置 Ceph 集群，可以使用以下命令： ``` kubectl -n rook-ceph apply -f https://raw.githubusercontent.com/rook/rook/release-1.7/cluster/examples/kubernetes/ceph/common.yaml ``` 7. 等待 Ceph 集群配置完成。可以使用以下命令检查配置状态： ``` kubectl -n rook-ceph get cephclusters.ceph.rook.io ``` 等到状态为 HEALTH_OK 时，Ceph 集群就已经配置完成了。 8. 现在可以在 Kubernetes 中使用 Rook Ceph 了。例如，可以创建 PVC 来使用 Ceph 存储： ``` apiVersion: v1 kind: PersistentVolumeClaim metadata: name: my-pvc spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi storageClassName: rook-ceph-block ``` 这将创建一个名为 my-pvc 的 PVC，并使用 rook-ceph-block 存储类来使用 Ceph 存储。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值