使用集群中唯一一个MON恢复集群ceph-mon服务(记一次故障恢复）

使用集群中唯一一个MON恢复集群ceph-mon服务(记一次故障恢复）

概述

  当集群因为某些故障导致mon集群损坏，或者多个mondb混乱，此时ceph-mon服务不可用，既所有ceph命令会卡住无法返回时，需要先恢复ceph mon服务，才能继续处理其他故障。
  需要注意，进行此操作需要停掉集群最后一个存活的mon，并基于其db恢复集群，因此需要事先停止所有业务，备份mon相关配置文件，且需要该mon为集群最后存活的拥有完整db的leader mon。

操作方法

恢复ceph mon服务

   此时ceph mon异常主要原因为mon选举机制，超出集群一半以上数量的mon异常，导致没法选举，只需要从mon map中踢出这些异常mon即可，由于ceph命令不可用，需要借助于monmaptool工具。以主机名为mon0的服务为例。

# 停止所有mon服务
systemctl stop ceph-mon.target
# 导出monmap
ceph-mon -i mon0 --extarct-monmap /tmp/lastmap
# 查看monmap
monmaptool --print /tmp/lastmap 
# 手动移除异常mon
monmaptool /tmp/lasmap --rm mon1(异常mon的主机名）
monmaptool /tmp/lasmap --rm mon2(异常mon的主机名）
ceph-mon -i mon0 --inject-monmap /tmp/lastmap
systemctl ceph-mon@mon0

  此时完成mon服务启动恢复，执行ceph命令可以得到返回输出。

恢复其他mon

  其余mon按照重新部署mon的方式即可。备份/var/lib/ceph/mon目录后，重新部署。这里以恢复mon1服务为例

# 拷贝admin密钥
scp /etc/ceph/ceph.client.admin.keyring root@mon1:/etc/ceph/
# 拷贝monmap
scp /tmp/lastmap root@mon1:/tmp/monmap
# 如果需要新建osd则需要如下密钥
scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@mon1:/var/lib/ceph/bootstrap-osd/
# 创建mon服务目录
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-mon1
# 配置权限与用户组
chown ceph.ceph -R /var/lib/ceph /etc/ceph /tmp/ceph.mon.keyring /tmp/monmap
# 创建mon服务
sudo -u ceph ceph-mon --mkfs -i mon1 --monmap /tmp/monmap --keyring /etc/ceph/ceph.client.admin.keyring
# 启动服务
systemctl start ceph-mon@mon1
systemctl enable ceph-mon@mon1
systemctl status ceph-mon@mon1