ceph pg rebalance

背景

• 1 个 osd full 超过 85% 使用率
• 最近有大量的数据写入及数据删除操作

$ ceph osd df tree | grep osd.158
ID   CLASS  WEIGHT      REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME                            
158    ssd    14.00000   1.00000   14 TiB   12 TiB   12 TiB  503 MiB   20 GiB  2.0 TiB  85.40  1.91  147      up

目标

• 执行一次 pg rebalance 令数据均衡一点

原理

• 获取当前 osd map 信息 （获取当前 OSD usage）
• 对 osd full 中的 pg 执行 osd pg-upmap-item 操作 （进行 pg 迁移）
• 实现 osd 容量降低，均衡当前集群中的 osd 容量

方法

通过命令设定兼容模式

ceph osd set-require-min-compat-client luminous  --yes-i-really-mean-it

获取当前 osd map 信息

ceph osd getmap -o  /tmp/osd_map