ceph - crushmap 扩容记录

前提

参考 ceph - 扩容记录 文档记录了如何进行 ceph 扩容的部署过程

最后一步, 需要对 ceph crushmap 进行重定义

容量计算

新加入 3 台存储节点, 每个存储节点具有 10 个 OSD 节点, 每个 OSD 对应 4TB 空间, 即共增加 3* 10 * 4TB = 120 TB

由于一直都有业务在 ceph 存储中使用, 假如立即把所有新加入的 ceph 节点存储使用率设定为 100% 会导致 ceph 集群处于一个维护期中, CPU, 网络带宽都会被需要进行恢复的 ceph 影响, 所有业务都会出现数据卡顿问题,

因此, 计划每天晚上只对 ceph osd 进行部分部分扩容,

3台存储节点, 每个存储节点具有 10 个OSD 节点, 每个 OSD 对应 4TB 空间, 每个 OSD 晚上扩展 200GB 空间, 即 3 * 10 * 200GB = 6TB 空间

我们从 2015-12-26 开始, 对 ceph 通过修改 weight 方法, 对 ceph 进行扩容, 每次扩容约为 CEPH 添加 6 TB 磁盘空间

实施

参考脚本

#!/bin/bash
#
#   edit by terry.zeng@vipshop.com
#     last_version: 2015-12-25
#       modify: reweight -> 0.5   || ceph status  ( grep 'misplaced' )
#
#  目标: 自动进行 ceph weight 调整,
#  条件
#   调整时间 start_time 1,  end_time 8 之间
#   ceph 必须是 health_ok 状态
#   最大可用 weight 10
#               需要调整的主机 reweight_host
#
#               邮件辅助 sh: /root/ceph/check_ceph_reweight.sh [只有发生 ceph -s [出现 misplace] 或其状态改变时候才发邮件
#

time=`date +%Y-%m-%d-%H%M%S`
savecrushfile='/root/ceph/crushmap.txt'
start_time=1
end_time=7
reweight=0.5
reweight_host='hh-yun-ceph-cinder014-128054 hh-yun-ceph-cinder021-128071 hh-yun-ceph-cinder022-128072'
max_weight=10.000
now=`date +%k`


### time

if [[ $now -lt $start_time ]] || [[ $now -ge $end_time ]]
then
       exit
fi

#### ceph status

ceph -s | grep 'misplaced' > /dev/null
if [ $? -eq 0 ]
then
        exit
fi

echo $time 'reweight start' >> /root/ceph/reweight_record.txt

###  rewieght

if [ -f $savecrushfile ]
then
        mv $savecrushfile $savecrushfile-$time
fi


ceph osd getcrushmap -o /root/ceph/crushmap.dump
crushtool -d /root/ceph/crushmap.dump -o /root/ceph/crushmap.txt
for host in $reweight_host
do
        weight=`grep $host $savecrushfile | grep item | awk '{print $4}'`
        line=`grep  --line-number $host $savecrushfile  | grep item | awk -F: '{print $1}'`
        new_weight=`echo $weight + $reweight | bc -l`
                                if [ "$new_weight" == "$max_weight" ]
                                then
                                                exit
                                fi
        sed -i "$line"s#$weight#$new_weight# $savecrushfile
done
crushtool -c /root/ceph/crushmap.txt -o /root/ceph/crushmap.done
ceph osd setcrushmap -i /root/ceph/crushmap.done

优化

目前在扩容期间, 对 ceph 集群执行了下面的参数修改

ceph tell osd.\* injectargs '--osd_max_backfills 1  --osd_recovery_max_active=1 --osd_disk_thread_ioprio_class  idel --osd_disk_thread_ioprio_priority 7 --osd_recovery_threads 1 --osd_recovery_op_priority 10  --osd_backfill_scan_min 64 --osd_backfill_scan_max 512’