docker笔记40-ceph osd误删除恢复

最新推荐文章于 2022-11-03 14:37:02 发布
最新推荐文章于 2022-11-03 14:37:02 发布
阅读量552 收藏 3
点赞数
文章标签： 运维

模拟删除一个osd

首先记录osd 状态 


[root@k8s-node1 ceph]# ceph osd tree
ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.05516 root default                                         
-2 0.01839     host k8s-node1                                   
 0 0.01839         osd.0           up  1.00000          1.00000 
-3 0.01839     host k8s-node2                                   
 1 0.01839         osd.1           up  1.00000          1.00000 
-4 0.01839     host k8s-node3                                   
 2 0.01839         osd.2           up  1.00000          1.00000

登录k8s-node3，模拟误删除了osd

下面表示把k8s-node3的osd2移除ceph集群 


[root@k8s-node3 ceph]# ceph osd out  osd.2
marked out osd.2.

停止服务： 


[root@k8s-node3 ceph]# systemctl stop ceph-osd@2

下面表示删除k8s-node3的osd2： 


[root@k8s-node3 ceph]# ceph osd crush remove osd.2
removed item id 2 name 'osd.2' from crush map

下面表示删除k8s-node3的验证： 


[root@k8s-node3 ceph]# ceph auth del osd.2
updated

下面表示彻底删除k8s-node3的osd2 


[root@k8s-node3 ceph]# ceph osd rm  osd.2
removed osd.2

查看发现osd2还在： 


[root@k8s-node3 ceph]# ceph osd tree
ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.03677 root default                                         
-2 0.01839     host k8s-node1                                   
 0 0.01839         osd.0           up  1.00000          1.00000 
-3 0.01839     host k8s-node2                                   
 1 0.01839         osd.1           up  1.00000          1.00000 
-4       0     host k8s-node3

重启一下k8s-node3的mon服务： 


[root@k8s-node3 ceph]# systemctl restart ceph-mon@k8s-node3

再次查看发现osd2已经不见了： 


[root@k8s-node3 ceph]# ceph osd tree
ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.03677 root default                                         
-2 0.01839     host k8s-node1                                   
 0 0.01839         osd.0           up  1.00000          1.00000 
-3 0.01839     host k8s-node2                                   
 1 0.01839         osd.1           up  1.00000          1.00000 
-4       0     host k8s-node3

查看centos的ceph服务有哪些： 


[root@k8s-node3 ceph]# systemctl list-unit-files |grep ceph
ceph-disk@.service                            static  
ceph-mds@.service                             disabled
ceph-mgr@.service                             disabled
ceph-mon@.service                             enabled 
ceph-osd@.service                             enabled 
ceph-radosgw@.service                         disabled
ceph-mds.target                               enabled 
ceph-mgr.target                               enabled 
ceph-mon.target                               enabled 
ceph-osd.target                               enabled 
ceph-radosgw.target                           enabled 
ceph.target                                   enabled

 重启一下k8s-node3的osd服务： 


[root@k8s-node3 ceph]# systemctl stop ceph-osd@2

虽然我们把第三个节点的osd误删除了，但是其data数据还在： 


[root@k8s-node3 ceph]# ll /data/osd0/
total 5242932
-rw-r--r--.   1 ceph ceph        193 Oct 28 21:14 activate.monmap
-rw-r--r--.   1 ceph ceph          3 Oct 28 21:14 active
-rw-r--r--.   1 ceph ceph         37 Oct 28 21:12 ceph_fsid
drwxr-xr-x. 132 ceph ceph       4096 Oct 28 21:14 current
-rw-r--r--.   1 ceph ceph         37 Oct 28 21:12 fsid
-rw-r--r--.   1 ceph ceph 5368709120 Oct 28 22:01 journal
-rw-------.   1 ceph ceph         56 Oct 28 21:14 keyring
-rw-r--r--.   1 ceph ceph         21 Oct 28 21:12 magic
-rw-r--r--.   1 ceph ceph          6 Oct 28 21:14 ready
-rw-r--r--.   1 ceph ceph          4 Oct 28 21:14 store_version
-rw-r--r--.   1 ceph ceph         53 Oct 28 21:14 superblock
-rw-r--r--.   1 ceph ceph          0 Oct 28 21:14 systemd
-rw-r--r--.   1 ceph ceph         10 Oct 28 21:14 type
-rw-r--r--.   1 ceph ceph          2 Oct 28 21:13 whoami

恢复误删除的osd       

进入到其挂载的目录 例如 


[root@k8s-node3 ceph]# cd  /data/osd0/

在删除osd 节点上进行恢复 


[root@k8s-node3 osd0]# cat fsid 
29f7e64d-62ad-4e5e-96c1-d41f2cb1d3f2


[root@k8s-node3 osd0]# ceph osd create 29f7e64d-62ad-4e5e-96c1-d41f2cb1d3f2
2

上面返回2才算正常的。

 开始授权： 


[root@k8s-node3 osd0]# ceph auth add osd.2 osd 'allow *' mon 'allow rwx' -i /data/osd0/keyring 
added key for osd.2

查看一下状态： 


[root@k8s-node3 osd0]# ceph osd tree
ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.03677 root default                                         
-2 0.01839     host k8s-node1                                   
 0 0.01839         osd.0           up  1.00000          1.00000 
-3 0.01839     host k8s-node2                                   
 1 0.01839         osd.1           up  1.00000          1.00000 
-4       0     host k8s-node3                                   
 2       0 osd.2                 down        0          1.00000

下面再把osd2加入回集群 


[root@k8s-node3 osd0]# ceph osd crush add    2  0.01839  host=k8s-node3
add item id 2 name 'osd.2' weight 0.01839 at location {host=k8s-node3} to crush map

说明：上面的2是osd2的编号；0.01839是权重，通过ceph osd tree查出来的。

再看一下状态： 


[root@k8s-node3 osd0]# ceph osd tree
ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.05516 root default                                         
-2 0.01839     host k8s-node1                                   
 0 0.01839         osd.0           up  1.00000          1.00000 
-3 0.01839     host k8s-node2                                   
 1 0.01839         osd.1           up  1.00000          1.00000 
-4 0.01839     host k8s-node3                                   
 2 0.01839         osd.2         down        0          1.00000

加进来： 


[root@k8s-node3 osd0]# ceph osd in osd.2
marked in osd.2.

然后启动osd服务： 


[root@k8s-node3 osd0]# systemctl start  ceph-osd@2

查看状态，发现osd2已经回来了，如果有数据，会看到有数据恢复的进度： 


[root@k8s-node3 osd0]# ceph osd tree
ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.05516 root default                                         
-2 0.01839     host k8s-node1                                   
 0 0.01839         osd.0           up  1.00000          1.00000 
-3 0.01839     host k8s-node2                                   
 1 0.01839         osd.1           up  1.00000          1.00000 
-4 0.01839     host k8s-node3                                   
 2 0.01839         osd.2           up  1.00000          1.00000









来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/28916011/viewspace-2217844/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/28916011/viewspace-2217844/

cjfcxf010101
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【分析】Ceph文件系统修复机制cephfs-data-scan(1)
渡江客涂鸦板
07-29 2962
一般文件系统采用的fsck命令来维护文件系统一致性，但是fsck对cephfs的难度是非常大的，主要原因在于其机制存在根本的区别： 1. cephfs修复的是一个rados集群数据而非一块磁盘设备； 2. 需要精确的识别数据的所有数据片，及这些数据片所属的inode 3. 大量的元数据不可能全部保存到内存中 4. 数据丢失原因可能在于(1)系统bug导致；(2)由于RADOS同步的灾难性故障——可能到时大量数据丢失；(3)bit位翻转(bitrot)
ceph 查看是否在恢复_docker笔记40-ceph osd误删除恢复
weixin_39847556的博客
12-19 134
模拟删除一个osd首先记录osd 状态[root@k8s-node1ceph]#cephosdtreeIDWEIGHTTYPENAMEUP/DOWNREWEIGHTPRIMARY-AFFINITY-10.05516rootdefault-20.01839hostk8s-node100.01839osd.0...
ceph存储 PG的数据恢复过程
skdkjxy的专栏
06-03 1万+
 PG 的数据恢复过程    集群中的设备异常(异常OSD的添加删除操作)，会导致PG的各个副本间出现数据的不一致现象，这时就需要进行数据的恢复，让所有的副本都达到一致的状态。想知道如何来进行数据的恢复之前，先要了解OSD故障的种类。   一、OSD的故障和处理办法：   1. OSD的故障种类：       故障A：一个正常的OSD 因为所在的设备发生异常，导致
ceph osd down修复
WBW_WBW的博客
06-17 3626
一、查看osd状态找到down状态的osd 二、删除对应osd 1、调整osd 的crush weight 2、停止osd进程 3、将节点状态标记为out 4、从crush中移除节点 5、删除节点 6、删除节点认证 三、准备并激活osd 1、格式化准备存放数据的磁盘 2、挂载指定磁盘 3、准备osd 4、激活osd 具体ID、FSID可通过/var/lib/ceph/osd/ceph-18路径下的whoami、fsid查看。激活之后查看若仍为down状态 通过以下命令查看对应osd状态，之后重启再观察...
Ceph OSD为DOWN时修复
夜雨狂歌如梦
05-15 2万+
本文所使用Ceph版本为luminous(不同版本删除OSD基本操作相同），当出现Ceph OSD为down的情况时，可以通过以下方法解决（假设ceph-admin节点OSD.1 Down，该OSD对应磁盘为/dev/sdb）： 1.首先尝试能否重启ceph-osd服务 近期在维护ceph集群时，发现一些新的情况： （1）ceph osd down掉之后（这里假设osd.1 down），去到...
docker-ceph-dash:Dockerized ceph-dash
06-19
docker-ceph-dash 这是一个 Dockerfile 项目，用于 dockerize 。 这是 hub 镜像项目。 您可以使用标准的 docker 构建语法在本地自行构建： docker build -t `whoami`/ceph-dashboard .例如，如果你有一个 Deis 集群...
docker-volume-ceph-rbd:一个Docker Volume插件，可将Ceph RBD用作分布式数据存储
05-19
`docker-volume-ceph-rbd`项目是将这两者结合的插件，允许Docker容器通过Ceph RBD来管理其卷，从而充分利用Ceph的分布式特性。 **Ceph存储系统** Ceph是一个开源的统一存储平台，设计用于高可用性和数据安全性。它...
docker-compose-linux-aarch64
12-14
标题中的"docker-compose-linux-aarch64"表明这是一个针对Linux系统，特别是基于AArch64（也称为ARM64）架构的Docker Compose版本。AArch64是ARM架构的一种64位变体，广泛应用于服务器、嵌入式设备和移动设备，如高...
docker-ce-26.1.0使用yum安装包
最新发布
04-27
说明：在最小化CentOS Linux release 7.6.1810 中制作yum源，docker-ce是centos 7系统x86架构rpm包。 使用： 1、上传文件到/data/docker-ce解压，或者任意目录后修改docker-ce-26.1.0.repo 中baseurl路径。 2、mv ...
docker-compose-Linux-aarch64
07-10
在arm版本的服务器上可用的docker-compose, 可执行文件
ceph osd down 的处理办法及新增加OSD
云时代-IT运维
05-19 4099
1: OSD 状态 有二个OSD down [root@node-11 ~]# [root@node-11 ~]# [root@node-11 ~]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -10 0 IDC rack01 ...
OSD故障处理总结
DeamonXiao的博客
10-26 4478
参考链接：https://docs.ceph.com/en/latest/rados/troubleshooting/troubleshooting-osd/#troubleshooting-osds OSD故障处理总结 在定位OSD故障之前，首先检查MON和网络。执行ceph health或ceph -s命令，如果发现MON有报错，应当去MON上定位问题。其次检查网络是否正常运行，因为OSD的性能极大程度地受到网络影响。在主机端检查丢包，在交换机端检查CRC错误。 获取OSDs的数据信息 要查看是否所.
ceph相关问题解决记录
卧龙居
04-21 890
ceph pg data unfound问题修复：华为开发者论坛 ceph pg 2.2b mark_unfound_lost revert 1.集群内OSD down掉的问题 1.1 active ceph osd的命令（在osd挂掉的宿主机上执行） ceph-volume lvm activate --all 1.2 如果osd的服务处于运行状态(systemctl status ceph-osd@id是active）,但ceph osd tree内显示是挂掉的 systemctl st..
ceph pg+down+peering 故障排查与osd误删恢复
iamygofcug的专栏
09-04 6216
PG又称放置组，是ceph中存放文件object的单位，相当于管理文件的分组。 down+peering 参考ceph pg状态表： Creating Ceph 仍在创建归置组。 Active Ceph 可处理到归置组的请求。 Clean Ceph 把归置组内的对象复制了规定次数。 Down 包含必备数据的副本挂了，所以归置组离线。 Replay 某 OSD 崩溃后，归置组在
ceph 删除 osd 重新添加 osd down 重建
mixboot
11-03 1725
ceph 删除 osd 重新添加 osd down 重建
Ceph搭建过程中遇到的各种问题
热门推荐
sinat_36023271的博客
09-01 2万+
人们在选择存储系统的时候，往往会考虑到它的存储能力、容错冗余机制、负载均衡等等。Ceph是一个非常好的分布式存储系统，可以无限制的扩展你的集群，并且它是一个块存储、对象存储和文件系统统一的分布式文件系统。所以很多公司都会选择ceph作为存储系统。 那么我们在进行ceph快速搭建的时候往往会遇到很多问题，我这边把我所遇到的问题总结了一下，请大家多多指教！ 安装过程 #ceph-de
说一下我安装ceph中遇到Error的解决办法
m0_37907130的博客
08-29 2万+
注意：仅供参考，这里是我解决成功的错误，下面的ceph2是我的用户名，官网上说不能用ceph当用户名。 1、Error：软件包与预期下载的不符。建议：运行 yum --enablerepo=centos-ceph-hammer clean metadata。当这种错误出现时，解决办法有两个：       重启机器，reboot。       换一个下载源，目标文件/etc/yum.repos...
ceph 重启后osd报错
wenwenxiong的专栏
10-31 6732
这里会遇到一个ERR，因为jewel版本的ceph要求journal需要是ceph:ceph权限,报错如下:journalctl -xeu ceph-osd@9.service 0月 31 09:54:05 k8s-master ceph-osd[2848]: starting osd.9 at :/0 osd_data /var/lib/ceph/osd/ceph-9 /var/lib/ceph/
ceph（luminous）-Bluestore，把删除的osd重新加回集群
pyrl的博客
10-08 3979
记录一次osd已经从集群中踢出，但是osd盘中的数据没有清除，并且lv也没有删除时，如何把osd重新加入回集群. 首先创建一个2副本的集群，方便验证是否成功把osd加回集群中,然后写几个对象到新pool中. [root@test-1 osd]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 ...
基于docker-compose部署ceph集群
07-27
这将使用docker-compose启动一个名为`ceph-mon`的容器作为mon节点，以及一个名为`ceph-osd`的容器作为osd节点。 5. 确保Ceph集群已成功启动，可以使用以下命令来检查： ``` docker exec -it ceph-mon ceph -s ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值