k8s学习笔记——关于ceph存储卷卸载异常

最新推荐文章于 2023-12-14 09:37:44 发布
最新推荐文章于 2023-12-14 09:37:44 发布
阅读量1.3k 收藏
点赞数
分类专栏： 网管笔记 文章标签： ubuntu ceph 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shell811127/article/details/119989062
版权

在ceph rbd存储中动态分配pv，我遇到两次删除不掉pod的问题（具体原因还暂时没搞明白），所有pod都显示Terminating状态。使用如下命令可以强制删除：

kubectl delete pods <pod> --grace-period=0 --force

但是pod删除后，pod动态挂载的pvc也会删除异常，我这里也使用了强制手动删除的方式，删除pvc和pv。

经过这么一翻操作后发现ceph的rbd不会释放，使用ceph df查看已占用空间不变。

使用rbd ls <poolname>可以查看到池子里动态生成的image还在，接下来再进行一翻强制删除，反正已经蛮干了，也不差这一步。ceph rm <poolname>/<imagesname>

这里直接手动删发现删除不了，会报check_image_watchers: image has watchers - not removing错误。我查了一下相关文档，这是存储卷还没有释放导致，解决办法依旧选择蛮干。

1、检查watcher image的client
rbd status ceph-block/csi-vol-0068f225-14f7-11eb-ac08-2a0aff2a8247
Watchers:
        watcher=10.244.2.0:0/1036319188 client.974190 cookie=18446462598732840961


2、把watcher ip加入到黑名单
ceph osd blacklist add 10.244.2.0:0/1036319188
blacklisting 10.244.2.0:0/1036319188 until 2020-10-31T08:47:43.513987+0000 (3600 sec)

3、再删除image
rbd rm ceph-block/csi-vol-0068f225-14f7-11eb-ac08-2a0aff2a8247
Removing image: 100% complete...done.

4、把刚才加入的ip退出黑名单
ceph osd blacklist rm 10.244.2.0:0/1036319188
un-blacklisting 10.244.2.0:0/1036319188
#查看黑名单列表
> ceph osd blacklist ls

这时候，再使用ceph df查看以占用的空间已经恢复正常了。如何现在使用pvc动态部署pod会发现存储卷不能使用，部署的pod也无法正常运行。通过describe查看，会发现显示有存储卷为只读的systemfiles字样，无法使用。通过添加-o wide参数查看pod部署的node节点，登到node节点上进行查看，几乎执行所有和磁盘有关的命令都会报 Input/output error错误。

使用lsblk查看
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0    7:0    0 55.5M  1 loop /snap/core18/2074
loop1    7:1    0 55.4M  1 loop /snap/core18/2128
loop2    7:2    0 67.6M  1 loop /snap/lxd/20326
loop3    7:3    0 70.3M  1 loop /snap/lxd/21029
loop5    7:5    0 32.3M  1 loop /snap/snapd/12704
loop6    7:6    0 32.3M  1 loop /snap/snapd/12883
sda      8:0    0  1.1T  0 disk
├─sda1   8:1    0    1M  0 part
├─sda2   8:2    0    1G  0 part /boot
└─sda3   8:3    0  1.1T  0 part
  └─ubuntu--vg-ubuntu--lv
       253:0    0  200G  0 lvm  /
sr0     11:0    1 1024M  0 rom
rbd0   252:0    0   10G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd1   252:16   0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd2   252:32   0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd3   252:48   0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd4   252:64   0    1G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd5   252:80   0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd6   252:96   0    1G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd7   252:112  0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd8   252:128  0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd9   252:144  0    1G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount
rbd10  252:160  0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mount

会发现原来的rbd 块设备挂载的目录还存在，并没有卸载掉。刚才报错应该就是这个原因。

接下来卸载挂载目录就应该ok了。但是要注意一点，这里挂载的目录可能有些是有效并在使用中的，千万别把这些也卸载了。可以通过一下方式辨别。

//kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                     STORAGECLASS      REASON   AGE
pvc-6fc729c1-6f50-4afd-ab8e-b5acddbf64fc   8Gi        RWO            Delete           Bound    gitlab/gitlab-prometheus-server           ceph-gitlab-rbd            10d
pvc-74015690-054d-48be-a8c0-af8a895750e7   10Gi       RWO            Delete           Bound    gitlab/gitlab-minio                       ceph-gitlab-rbd            10d
pvc-7545aadc-829d-4a5f-ab81-736c6fc9ac7b   8Gi        RWO            Delete           Bound    gitlab/data-gitlab-postgresql-0           ceph-gitlab-rbd            10d
pvc-c9fd941e-d99d-437b-963e-6e7a1cb20050   8Gi        RWO            Delete           Bound    gitlab/redis-data-gitlab-redis-master-0   ceph-gitlab-rbd            10d
pvc-f288093c-d60a-4f49-8d10-c112b927dcf4   8Gi        RWO            Delete           Bound    jenkins/jenkins                           ceph-rbd                   10d

不在这个列表的应该就是可以卸载的。

1、通过一下方式查看具体挂载目录
mount |grep rbd9  //这里的数字就是前面查看的块设备对应的号
/dev/rbd9 on /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-7abd663f-06da-11ec-bfb1-da58ba56442c type ext4 (rw,relatime,stripe=16)

2、卸载

sudo umount /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-7abd663f-06da-11ec-bfb1-da58ba56442c


3、使用lsblk查看
NAME                      MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0                       7:0    0 55.5M  1 loop /snap/core18/2074
loop1                       7:1    0 55.4M  1 loop /snap/core18/2128
loop2                       7:2    0 67.6M  1 loop /snap/lxd/20326
loop3                       7:3    0 70.3M  1 loop /snap/lxd/21029
loop5                       7:5    0 32.3M  1 loop /snap/snapd/12704
loop6                       7:6    0 32.3M  1 loop /snap/snapd/12883
sda                         8:0    0  1.1T  0 disk
├─sda1                      8:1    0    1M  0 part
├─sda2                      8:2    0    1G  0 part /boot
└─sda3                      8:3    0  1.1T  0 part
  └─ubuntu--vg-ubuntu--lv 253:0    0  200G  0 lvm  /
sr0                        11:0    1 1024M  0 rom
rbd0                      252:0    0   10G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/gitlab.rbd-image-kubernetes-dynamic-pvc-294bd568-00d2-11ec-8d41-0e03797b96fa
rbd1                      252:16   0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/gitlab.rbd-image-kubernetes-dynamic-pvc-2a5ba93a-00d2-11ec-8d41-0e03797b96fa
rbd2                      252:32   0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/gitlab.rbd-image-kubernetes-dynamic-pvc-2942b322-00d2-11ec-8d41-0e03797b96fa
rbd3                      252:48   0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/gitlab.rbd-image-kubernetes-dynamic-pvc-2a6b2a58-00d2-11ec-8d41-0e03797b96fa
rbd4                      252:64   0    1G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-79993372-06da-11ec-bfb1-da58ba56442c
rbd5                      252:80   0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-79a09b13-06da-11ec-bfb1-da58ba56442c
rbd6                      252:96   0    1G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-79dbb137-06da-11ec-bfb1-da58ba56442c
rbd7                      252:112  0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-7afaaf63-06da-11ec-bfb1-da58ba56442c
rbd8                      252:128  0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/harbor.rbd-image-kubernetes-dynamic-pvc-79a017aa-06da-11ec-bfb1-da58ba56442c
rbd9                      252:144  0    1G  0 disk
rbd10                     252:160  0    8G  0 disk /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/kube-image-kubernetes-dynamic-pvc-63c3c453-00fc-11ec-8d41-0e03797b96fa

4、取消映射关系
sudo rbd unmap /dev/rbd9

然后再使用lsblk查看，rbd对应的块设备就正常释放了。

这里有可能还需要重启服务器，看来蛮干的代价还是惨重的。

现在再去部署pod就正常了。

回过头来仔细想想，这个异常应该是操作步骤不当造成的，如果反过来顺序，在pod强制删除后不要急着删除pvc和pv，先到节点上把相应块设备卸载掉，在去删除ceph中的image应该就不会出现异常了。

潮落拾贝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
云计算运维后端核心存储ceph学习笔记
02-04
云计算运维后端核心存储ceph学习笔记
K8s-ceph-csi-rbd连接资源
06-15
K8s通过rbdcsi连接ceph集群资源文件，已经修改了里面的镜像地址，补全configmap文件，可以直接下载部署
【ceph】ceph osd blacklist cep黑名单|MDS问题分析
小鱼菜鸟的博客
07-22 1050
目录 blacklist是什么 blacklist相关操作 Ceph MDS问题分析 CephFS client evict子命令使用 概述 命令格式 1. 查看所有client/session 2. evict指定client 3. 查看ceph osd的blacklist 4. 尝试恢复evict client 5. evi...
openstack强制删除使用中的卷
最新发布
今天记得早睡的博客
12-14 560
创建云主机的时候，选择的新建卷，但是云主机创建失败，就把云主机删除，但是在卷那边显示建的卷还在使用中，是由于已经绑定云主机。并且由于云主机已经被我删除，所以这些卷在dashboard操作删除不了，需要命令行处理。
Ceph学习 -- （3）Ceph接口与存储引擎
weixin_47252600的博客
01-17 883
高层应用接口详解、存储引擎介绍
openstack 删除卷的方法
DAVE2019的博客
08-08 1590
openstack 删除卷的方法 [root@openstack ~]# mysql -uroot MariaDB [(none)]> use cinder MariaDB [cinder]> update volumes set deleted=1 where id=“a1054c89-d1dc-4f0a-b138-98bfcda09a37”; 执行完后，卷即可删除！
ceph-rbd kvm 删除数据后集群空间不释放
weixin_33695082的博客
06-29 1365
环境描述ceph版本：luminous 12.2.5OSD三节点，monitor三节点，同时运行在三台物理服务器；KVM宿主机运行多台虚拟机，其中一台挂载ceph-rbd块存储； KVM调用ceph-rbd1.ceph集群创建存储池，创建映像；2.ceph集群设定映像大小，属性；3.ceph集群创建针对此存储池访问账户，指定权限；4.KVM宿主机上创建虚拟机；5.编辑虚拟机配置文件，添加网络硬盘块...
理解 OpenStack + Ceph （7）: Ceph 的基本操作和常见故障排除方法
weixin_34009794的博客
06-03 388
本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成： （1）安装和部署 （2）Ceph RBD 接口和工具 （3）Ceph 物理和逻辑结构 （4）Ceph 的基础数据结构 （5）Ceph 与 OpenStack 集成的实现 （6）QEMU-KVM 和 Ceph RBD 的 缓存机制总结 （7）Ceph 的基本操作和常见故障排除方法 （8）关于Ceph P...
k8s安装部署与卸载
点赞不迷路
10-27 9255
1、docker安装 curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 启动docker并设置开机自启动 systemctl enable docker && systemctl start docker systemctl daemon-reload systemctl restart docker systemctl status docker 设置加速 sudo vi /etc/docker
Docker和Kubernetes中使用Ceph RBD卷的原理分析
weixin_34161083的博客
05-28 493
2019独角兽企业重金招聘Python工程师标准>>> ...
Ceph日常运维操作命令总结
08-30
该文档详细总结了Linux下对Ceph日常运维的操作命令，可作为ceph常规运维手册使用。在此分享，希望能帮助到有用到的朋友。
云原生-基于k8s部署-分布式底层存储-Rook-Ceph
06-13
分布式存储系统是一个有效的解决有状态工作负载高可用问题的方案。Ceph 就是一个分布式存储系统，近年来其影响主键扩大。Rook 是一个编排器，能够支持...本教程包含rook-ceph配置详解、部署、卸载、cephfs使用教程等
五、K8s使用Ceph作为后端存储
09-26
五、K8s使用Ceph作为后端存储
有状态容器实践：k8s集成ceph分布式存储
11-28
在部署容器集群的过程中，很多用户都在头疼存储的问题：数据怎样持久存储？数据怎样随容器迁移？
关于raid5数据恢复
潮落拾贝
06-04 8529
前不久遇到了一件特别悲催的事，可谓血的教训，事后发觉作为一名网管人员定时做数据备份是件多么重要的事情！！！ 单位有台08年配发的联想万全T350 G6C  4块硬盘做的Raid5，服务器在使用过程中突然开始声音告警，长音断续，等发现时已经是五六天以后了，小弟说，服务器重启了N遍，无果，但系统尚可正常运行，找不到问题原因，机房一直有个设备叫着很烦人，于是给联想客服去了电话，客服告诉，在开机启动时按
k8s学习笔记——traefik tcp转发
潮落拾贝
04-06 5080
k8s traefik tcp 转发需要在部署完deploy和svc后，设置两样东西，一个是ingress，一个是ingressroutetcp。其中一样ingress设置和普通的http转发设置基本一样。这里设置的tcp转发都是非tls的。以设置mysql为例 //mysql-ingressroutetcp.yaml apiVersion: traefik.containo.us/v1alpha1 kind: IngressRouteTCP metadata: name: mysql-ingre
k8s学习笔记——calico
潮落拾贝
08-01 4213
calico是k8s集群安装所用到的网络组件，calico与fannel相比具有访问控制功能，复杂性也更高些。在节点加入集群时，如果节点没有安装calico组件，节点会处于NotReady状态。安装方法之前介绍过，可以通过官网下载https://docs.projectcalico.org/getting-started/kubernetes/quickstart yaml文件保存为calico.yaml下载到节点本地，将里面的网络域修改为自己设定的网络域，然后安装。比如下载3.8版本的calico，将..
linux安装usb wifi接收器
潮落拾贝
12-09 4013
好长时间没有写点东西了。最近遇到电脑的无线网卡坏了，连不了ｗｉｆｉ，想买个ｕｓｂ的ｗｉｆｉ　接收器来替代，但没想到这点小问题到过了３天，为防止以后在忘了，留个草稿。如果菜鸟们遇到和我一样的问题，也可以借鉴一下。　　　 　　我的电脑是ｄｅｂｉａｎ的系统，ｕｂｕｎｔｕ的系统也都一样的命令。 　　我买的是Ｔｅｎｄａ的ｕｓｂ　ｗｉｆｉ接收器。 　　你需要用到的工具有wireless tools中的i
k8s学习笔记——添加worker节点
潮落拾贝
06-23 3465
在安装完master节点后，下一步就是添加worker节点，如果以前机器上已经运行过kubeadm命令，在添加之前需要先清空一下，使用kubeadm reset命令。 然后删除网络插件sudo rm -rf /etc/cni/net.d 删除用户权限文件sudo rm -rf /root/.kube/config && sudo rm -rf $HOME/.kube/config 1、如果kubeadminit时没有保存下来token信息或者token已过期，需要重新生成token。.
k8s安装nfs共享存储卷
09-22
在k8s中安装NFS共享存储卷的步骤如下： 1. 在k8s集群的每个节点上安装NFS客户端依赖： `sudo apt-get install nfs-common` 2. 配置NFS服务器，可以在一台独立的虚拟机上进行配置。安装NFS服务器并设置挂载路径： ``` sudo apt-get install nfs-kernel-server sudo mkdir /data/nfs sudo vi /etc/exports # 添加如下内容 /data/nfs *(rw,sync,no_subtree_check) sudo exportfs -a sudo systemctl restart nfs-kernel-server ``` 3. 创建一个PersistentVolume和PersistentVolumeClaim来定义NFS存储： ```yaml apiVersion: v1 kind: PersistentVolume metadata: name: nfs-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteMany nfs: server: <NFS服务器IP地址> path: /data/nfs --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: nfs-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi ``` 4. 创建一个Pod来使用NFS存储： ```yaml apiVersion: v1 kind: Pod metadata: name: nfs-pod spec: containers: - name: nfs-container image: <容器镜像> volumeMounts: - name: nfs-volume mountPath: /data volumes: - name: nfs-volume persistentVolumeClaim: claimName: nfs-pvc ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值