Rook Ceph Snapshot的清理

原创 已于 2024-06-20 15:36:54 修改 · 851 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes

于 2022-07-05 20:30:00 首次发布
本文介绍了在Kubernetes中使用Rook Ceph时，如何管理和清理rbd快照的问题。当VolumeSnapshotContent与Ceph快照不匹配，可能导致Ceph空间不足。文章详细阐述了Ceph rbd快照的性质，以及VolumeSnapshotContent与rbd快照的关系，并提供了删除单个和多个rbd snapshot的步骤。

目录

问题

背景知识

Ceph rbd快照

VolumeSnapshotContent和rbd快照

删除一个rbd snapshot

删除多个rbd snapshot

参考

问题

平时用k8s进行开发测试时，如果使用了rbd的snapshot，并且清理不及时的话，或者清理方法有问题，可能会遇到以下的情况：

  • VolumeSnapshotContent不多

  • 但是Ceph的snapshot很多

最终可能会导致Ceph不可用，比如因为disk空间不够。

背景知识

Ceph rbd快照

Ceph的rbd快照从定义来看，就是一个只读的image。Ceph官方文档建议在创建snapshot的时候把应用的IO停掉，或者先执行fsfreeze，这样得到的就是一个数据一致可用的快照。

由于Ceph image的layering设计，可以支持在一个快照之上快速的创建出一个可以读写的clone。

一个快照的clone从行为上跟一个普通的rbd image一样，可以读写、创建clone等。

VolumeSnapshotContent和rbd快照

通过CSI创建一个PV的VolumeSnapshot之后，会得到一个VolumeSnapshotContent，例如：

[root@sandrider~ ]# kubectl get volumesnapshotcontents.snapshot.storage.k8s.io snapcontent-062c610c-0c73-4963-9909-a5ff5c480234 -o yaml
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotContent
...
...
status:
  creationTime: 1656475215498012908
  readyToUse: true
  restoreSize: 5368709120
  snapshotHandle: 0001-0009-rook-ceph-0000000000000001-fb1a79b8-f75f-11ec-925f-bafec6769230

这里的snapshotHandle就指向一个Ceph的rbd device。进入Rook Ceph的toolbox查看某个snapshot image：

sh-4.4$ rbd ls -l replicapool | grep snap | grep fb1a79b8-f75f-11ec-925f-bafec6769230
csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230

接着可以通过rbd info来查看这个snapshot的信息：

sh-4.4$ rbd info replicapool/csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230
rbd image 'csi-snap-fb1a79b8-f75f-11ec-925f-bafec6769230':
        size 5 GiB in 1280 objects
        order 22 (4 MiB objects)
        snapshot_count: 1
        id: 1f461bdf3d46fc
        block_name_prefix: rbd_data.1f461bdf3d46fc
        format: 2
        features: layering, deep-fla
最低0.47元/天 解锁文章
Kubernetes云原生存储解决方案之 Rook Ceph实践探究
lldhsds的专栏
09-29 1974
kubernetes下三位一体的云原生分布式存储解决方案
rook安装ceph为kubevirt虚拟机提供存储（二）
BY_xiaopeng的博客
05-07 1391
kubernetes kubevirt rook ceph
解析Ceph: Snapshot
weixin_33675507的博客
01-20 231
经常有开发者在邮件列表中会问到Ceph Snapshot的实现方式，受限于目前有限的实现文档和复杂的代码结构和代码量，弄清楚Ceph Snapshot并不是一件容易的事。正好最近在重构Ceph存储引擎层的DBObjectMap，涉及到处理Snapshot间clone的问题，重新梳理了一次在Ceph IO路径中占了非常大比重的snapshot相关代码流程，在这里并不会重点展现里面的代码或者数据结构，...
k8s中清除已安装的rook-ceph集群
zh_admini的博客
04-11 2611
删除依赖的资源 kubectl delete -f ../wordpress.yaml kubectl delete -f ../mysql.yaml kubectl delete -n rook-ceph cephblockpool replicapool kubectl delete storageclass rook-ceph-block kubectl delete -f csi/cephfs/kube-registry.yaml kubectl delete storageclass csi-ce
rbd快照管理、rbd快照克隆原理与实现、rbd镜像开机自动挂载、ceph文件系统、对象存储、配置对象存储客户端、访问Dashboard
m0_52686092的博客
07-24 1085
root@client1 ~]# rbd snap rm img1 --snap img1-sn1 # 不能删。[root@client1 ~]# vim /etc/ceph/rbdmap # 指定要挂载的镜像及用户名、密钥。[root@client1 ~]# vim /etc/hosts # 添加以下内容。[root@client1 ~]# rbd --help # 查看子命令。[root@client1 ~]# ls /mnt/ # 数据还原完成。
ceph snapshot
Instant_Nebula的博客
03-21 352
参照ceph文档一些记录 快照通常通过调用.snap目录中的mkdir创建，该目录一般隐藏，在directory list中不可见。 snapshot在获取时创建了一个文件系统的不可变视图，具有以下两个特点： 任意子树。快照可以在很热选择的directory创建，并且覆盖该directory下所有文件系统的data。 异步。“creating”的过程很快，但buffered data flush out较慢。 main structure SnapRealm：在新的节点创建快照时会产生的结构，或者当
rook-ceph15.2完全卸载
qn0007的博客
08-04 2320
rook-ceph O版结合k8s部署，部署失败后,一定要彻底清理，否则磁盘osd识别不到硬盘。 1.首先先删除k8s上rook-ceph下的所有资源，按照部署的顺序反着操作。 kubectl delete -f cluster.yaml kubectl delete -f operator.yaml kubectl delete -f common.yaml kubectl delete -f crds.yaml （其实后面的common和crds可以不删，为了稳妥一点还是删了吧） 删资源的过程中，可.
kubernetes存储：local，openEBS，rook ceph
阿白，
05-08 6787
文章目录Local 存储(PV)概念hostPathLocal PVstorageClassName指定延迟绑定动作pv的删除流程OpenEBS存储控制平面OpenEBS PV ProvisionerMaya-apiserverMaya Volume ExporterVolume 管理 Sidecars节点磁盘管理器数据平面JivacStorLocal PV(普通情况下使用，网络性较小)安装测试(一般简单的使用就是用OpenEBS的local PV)ceph简介高性能高可用性高可扩展性(分布式的特性)特性丰
k8s进阶篇-云原生存储ceph
qq_35302220的博客
11-29 1023
k8s进阶篇-云原生存储ceph
ceph block snapshot 基本命令操作
weixin_44856211的博客
07-13 343
ceph block snapshot 基本命令操作 备注：ceph block snapshot操作时不指定存储池，它将使用默认的 rbd 存储池，但默认并无 rbd 存储池，所以可以创建名为 rbd 的存储池，亦可以使用 rbd pool init 指定存储池为默认存储池（使用中好像未生效） 1 创建块设备池和映像 ceph osd pool create rbd_pool 100 rbd create --size 102400 rbd_pool/foo 2 创建快照 # 语法 rbd sna
ceph快照分析
06-11
ceph的基本的特性之一，就是支持rbd的snapshot和clone功能。Ceph都可以完成秒级别的快照。 ceph支持两种类型的快照，一种poo snaps，也就是是pool级别的快照，是给整个pool中的对象整体做一个快照。另一个是self managed snaps. 目前rbd的快照就这类，用户写时必须自己提供SnapContex信息
rook部署ceph代码修改及卸载硬盘清理脚本
07-09
rook部署ceph代码修改及卸载硬盘清理脚本
ceph 后端删除 rbd 快照流程
yuan1xin1的专栏
01-05 1710
monitor处理： (gdb) bt #0 SafeTimer::add_event_after (this=0x7efcfb7f23c0, seconds=0.9989011287689209, callback=callback@entry=0x7efc5c014be0) at /home/ceph/ceph/src/common/Timer.cc:118 #1 0x00007efcf...
K8S章节2 — k8s集群中通过rook方式部署ceph
Egovican的博客
10-09 1869
k8s中通过rook方式部署ceph分布式存储
【Ceph】Ceph快照的原理和实现--未消化
小鱼菜鸟的博客
07-22 828
快照原理 1、先了解一下文件系统的知识 https://blog.csdn.net/bandaoyu/article/details/125375996?spm=1001.2014.3001.5501 2、快照原理 https://blog.csdn.net/bandaoyu/article/details/120421383 http://t...
CEPH集群RBD快照创建、恢复、删除、克隆
weixin_34075551的博客
09-26 768
Ceph支持一个非常好的特性，以COW（写时复制）的方式从RBD快照创建克隆，在Ceph中被称为快照分层。分层特性允许用户创建多个CEPH RBD克隆实例。这些特性应用于OpenStack等云平台中，使用快照形式保护ceph RBD 镜像，快照是只读的，但COW克隆是完全可以写 ，可以多次来孵化实例，对云平台来说是非常有用的。Ceph RBD镜像有format...
【ceph相关】krbd删除速度过慢问题处理
Luxf0的博客
06-01 1342
创建4T大小krbd（未写入任何数据），删除块耗时将近二十多分钟 本文主要介绍相关排查思路及解决措施
删除rbd的数据后ceph空间没有释放
...
07-27 4725
删除ceph挂载卷中的数据后ceph空间没有释放 ​ ​ 有一个集群的ceph的存储空间被k8s的pod占满了，客户也不愿意扩容。现在就只能看可不可以删除一些不用的文件来释放一些存储空间，发现mysql占用的数据比较大，然后清理快40G的binlog，在容器中通过df -h查看已经是减少的了。但ceph df查看的使用率并没有变化，就很懵比~。由此引发了一些思考 文件系统是怎么删除文件的呢？ 删除文件的过程： 以/var/log/messages这个文件为例，删除messages这个文件的过程大致如下：
清理虚拟机磁盘重新部署rook ceph集群
最新发布
03-31
<think>好的，用户现在需要清理虚拟机磁盘并重新部署Rook Ceph集群。首先，我需要理解用户的具体场景。用户可能是在测试或者生产环境中遇到了严重的问题，导致现有的Ceph集群无法正常使用，需要彻底清理然后重新部署。这可能是因为之前的部署出现了不可恢复的错误，或者用户想要重置环境进行新的配置。 接下来，我需要考虑用户的需求。用户提到的是“清理虚拟机磁盘”，这意味着他们可能是在虚拟机环境下运行Rook Ceph，可能需要确保所有相关的数据都被彻底删除，避免残留数据影响新集群的部署。重新部署Rook Ceph集群的步骤需要详细且准确，避免遗漏任何关键步骤，否则可能导致新的部署失败。 然后，我要分析可能的深层需求。用户可能不仅需要步骤，还需要确保清理过程彻底，包括Kubernetes资源、Ceph的配置和数据，以及虚拟机磁盘的残留文件。此外，用户可能在之前的部署中遇到了问题，希望通过清理和重新部署来解决问题，因此可能需要一些预防措施或最佳实践，避免同样的问题再次发生。 现在，我需要整理清理和重新部署的步骤。首先，清理现有的Rook Ceph集群，这包括删除CRD、命名空间、存储类和相关数据目录。然后，需要清理虚拟机磁盘，使用dd命令或shred工具确保数据不可恢复。接着，重新部署Rook Ceph集群需要从官方获取部署文件，进行必要的配置调整，并验证部署是否成功。 需要注意的地方包括：确保所有相关的Kubernetes资源都被删除，避免残留资源导致冲突；清理数据目录时，确认路径是否正确，尤其是如果用户自定义了数据存储位置；在重新部署时，可能需要根据虚拟机环境调整配置，例如存储设备路径或资源分配。 用户可能遇到的问题包括：清理不彻底导致新集群部署失败，或者在虚拟机环境中磁盘设备名称变化导致配置错误。因此，在步骤中需要强调检查磁盘设备名称，确认数据目录清理，以及使用正确的部署配置文件。 最后，需要提供验证步骤，确保新集群正常运行，以及预防措施，比如备份配置、资源限制和监控设置，帮助用户避免未来出现问题。同时，解释清理的重要性，比如残留数据可能导致数据不一致或启动失败，增强用户的理解。</think>以下是清理虚拟机磁盘并重新部署Rook Ceph集群的完整操作指南，分为**环境清理**和**重建部署**两大阶段： --- ### 一、环境清理阶段 #### 步骤1：销毁现有Ceph集群 ```bash # 删除CephCluster CRD（触发清理流程） kubectl -n rook-ceph patch cephcluster rook-ceph -p '{"spec":{"cleanupPolicy":{"confirmation":"yes-really-destroy-data"}}}' --type merge # 等待所有资源自动清理完成（约5-10分钟） watch kubectl -n rook-ceph get all ``` #### 步骤2：移除Rook相关Kubernetes对象 ```bash # 删除Rook命名空间及关联资源 kubectl delete ns rook-ceph # 清理CRD（关键！否则重建时会继承旧配置） kubectl delete crd cephclusters.ceph.rook.io kubectl delete crd cephblockpools.ceph.rook.io kubectl delete crd cephfilesystems.ceph.rook.io ``` #### 步骤3：虚拟机磁盘深度清理 ```bash # 确认磁盘设备路径（通常为/dev/sdb、/dev/vdb等） lsblk -f # 擦除磁盘头部元数据（对所有OSD磁盘执行） sudo dd if=/dev/zero of=/dev/{device} bs=1M count=100 status=progress # 彻底清理文件系统签名（可选） sudo wipefs -a /dev/{device} # 如果使用LVM： sudo vgremove -y ceph-$(uuidgen) sudo pvremove /dev/{device} ``` --- ### 二、重建部署阶段 #### 步骤1：准备基础环境 ```bash # 创建新命名空间 kubectl create ns rook-ceph # 下载最新部署文件 wget https://github.com/rook/rook/raw/master/deploy/examples/crds.yaml wget https://github.com/rook/rook/raw/master/deploy/examples/common.yaml wget https://github.com/rook/rook/raw/master/deploy/examples/operator.yaml wget https://github.com/rook/rook/raw/master/deploy/examples/cluster.yaml ``` #### 步骤2：调整关键配置（编辑cluster.yaml） ```yaml apiVersion: ceph.rook.io/v1 kind: CephCluster metadata: name: rook-ceph namespace: rook-ceph spec: dataDirHostPath: /var/lib/rook mon: count: 3 # 必须为奇数 allowMultiplePerNode: false storage: useAllNodes: false nodes: - name: "node1" # 节点名称需匹配k8s节点名 devices: - name: "sdb" # 确认虚拟机磁盘设备名 - name: "sdc" config: osdsPerDevice: "1" # 每磁盘创建1个OSD ``` #### 步骤3：执行部署 ```bash # 应用CRD和Operator kubectl apply -f crds.yaml -f common.yaml -f operator.yaml # 等待Operator就绪（约2分钟） kubectl -n rook-ceph rollout status deploy/rook-ceph-operator # 部署Ceph集群 kubectl apply -f cluster.yaml ``` --- ### 三、验证阶段 #### 健康检查 ```bash # 等待所有Pod进入Running状态（约10-15分钟） watch kubectl -n rook-ceph get pods # 通过工具容器验证集群状态 kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph -s ``` 期望输出： ```log health: HEALTH_OK mon: 3 daemons, quorum a,b,c osd: 6 osds: 6 up (since 2m), 6 in ``` --- ### 四、关键注意事项 1. **磁盘残留数据风险**： - 若未彻底清理旧磁盘数据，新集群启动时可能出现`bluestore meta`校验失败 - 解决方案：使用`ceph-volume lvm zap`彻底擦除： ```bash ceph-volume lvm zap --destroy /dev/{device} ``` 2. **虚拟机磁盘分配建议**： - 每个OSD磁盘建议预留20%空间作为缓冲 - 使用直通模式（Passthrough）而非虚拟磁盘文件，提升性能 3. **部署优化参数**： ```yaml # cluster.yaml 追加配置 cephVersion: allowUnsupported: false skipUpgradeChecks: false continueUpgradeAfterChecksEvenIfNotHealthy: false ``` --- ### 五、故障排除 #### 常见问题1：OSD无法启动 ```log error: failed to create OSD: failed to configure device: failed to initialize device sdb: failed to create new OSD: failed to get monitor info: failed to fetch mon config ``` **修复步骤**： ```bash # 检查mon Secret是否存在 kubectl -n rook-ceph get secret rook-ceph-mon # 若缺失，手动生成monmap kubectl -n rook-ceph exec deploy/rook-ceph-mon-a -- ceph-mon --mkfs -i a --monmap /tmp/monmap --keyring /etc/ceph/keyring.mon ``` #### 常见问题2：仲裁丢失 ```log mon: clock skew detected ``` **解决方案**： ```bash # 所有节点同步NTP sudo chronyc makestep ``` --- 通过以上步骤可确保虚拟机环境下Rook Ceph集群的干净重建。建议在清理前备份`/var/lib/rook`目录（若有重要数据），并验证虚拟机存储配置是否满足Ceph的[官方硬件要求](https://docs.ceph.com/en/latest/start/hardware-recommendations/)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值