Proxmox VE 6.x 的ceph Luminous 升级 Nautilus (14.2.0 or higher)

官方文档参考：https://pve.proxmox.com/wiki/Ceph_Luminous_to_Nautilus

前提条件：

Proxmox VE 版本 6.x Ceph 的版本 Luminous (12.2.12-pve1)

集群必须处于健康的工作状态

一、确保在运行Luminous的同时至少完成了所有PG的一次完整清理

为了能够成功升级到 Nautilus, 你的 OSD map 必须包含以下的flag，如果没有这个标记请等待24-48小时

• recovery_deletes flag
• purged_snapdirs flag

ceph osd dump | grep ^flags
flags noout,sortbitwise,recovery_deletes,purged_snapdirs

如果您刚刚完成了向Luminous的升级，并且想以短期顺序进入Nautilus，则可以使用以下命令在所有展示位置组上强制进行清理
ceph osd scrub all

从Nautilus开始，所有守护程序都将’keyring’选项用作其密钥环，因此您必须对此进行调整。最简单的方法是将全局“密钥”选项移到“客户端”部分，然后在其他所有位置将其删除。如果您没有，请创建“客户端”部分。

From:

[global]
    ...
    keyring = /etc/pve/priv/$cluster.$name.keyring
[osd]
    keyring = /var/lib/ceph/osd/ceph-$id/keyring

To:

[global]
    ...
[client]
    keyring = /etc/pve/priv/$cluster.$name.keyring

二、准备每个ceph集群节点

修改Ceph仓库Luminous为Nautilus
$ sed -i 's/luminous/nautilus/' /etc/apt/sources.list.d/ceph.list
$ echo "deb http://download.proxmox.com/debian/ceph-nautilus buster main" >> /etc/apt/sources.list.d/ceph.list

设置'noout'标志
ceph osd set noout

升级每个ceph集群的节点
$ apt update
$ apt dist-upgrade


在每个运行mon的节点重启monitor daemon，并确认是否升级完成
$ systemctl restart ceph-mon.target

$ ceph mon dump | grep min_mon_release
dumped monmap epoch 4
min_mon_release 14 (nautilus)

在所有节点上重新启动管理器守护程序，并确认集群状态
$ systemctl restart ceph-mgr.target
$ ceph -s
...
services:
    mon: 3 daemons, quorum svr05,svr06,labs                                                               vr07 (age 2m)
    mgr: svr06(active), standbys: svr07, issla                                                               bsvr05
    
所有节点上重启ODS进程
$ systemctl restart ceph-osd.target

在每个节点告诉ceph-volume来扫描OSD
ceph-volume simple scan
ceph-volume simple activate --all

三、升级CephFS MDS进程

#1、将mds是数量标记为1
$ ceph status
$ ceph fs set <fs_name> max_mds 1

#2、等待其他active的mds变为dead
$ ceph status

#3、停止所有standby主机的 MDS daemons
$ systemctl stop ceph-mds.target

#4、确保只有一个MDS是在线的
$ ceph status
   mds: cephfs:1 {0=svr05=up:active}
   
#5、通过重启来在线mds来升级mds
$ systemctl restart ceph-mds.target

#6、重启其他standby MDS来升级
$ systemctl start ceph-mds.target

#7、重新设置original value of max_mds for the volume
$ ceph fs set <fs_name> max_mds <original_max_mds>

四、禁用Nautilus之前的OSD并启用所有仅Nautilus的新功能

$ ceph osd require-osd-release nautilus

Unset 'noout' and check cluster status
$ ceph osd unset noout

$ ceph -s

五、启用msgrv2协议并更新Ceph配置

ceph mon enable-msgr2