ceph - 扩容记录

时间点与步骤

事件	相关信息	相关机器	详细信息
12/15 10:00	服务器重装,把原来 glusterfs 服务器重装成 el7	240.30.128.54,240.30.128.71,240.30.128.72	利用 kickstart 重装
12/15 11:30	基础配置 维护系统常用基础配置	240.30.128.54,240.30.128.71,240.30.128.72	详情参考 p1
12/16 01:00	ceph 基础配置 配置 ceph 基础信息	240.30.128.54,240.30.128.71,240.30.128.72	详情参考 p2
12/16 01:30	启动 ceph 把新添加的 osd 及对应节点加入 ceph 集群	240.30.128.54,240.30.128.71,240.30.128.72	详情参考 p3
12/16 02:00	优化 ceph 优化 ceph 恢复	240.30.128.54,240.30.128.71,240.30.128.72	详情参考 p4

p1

参考事件

确认主机名正确
确认 ntp 正确
确认磁盘都已经能够被识别, 每个磁盘 4T,
调整内核参数 (echo 4194303 > /proc/sys/kernel/pid_max)
安装 ceph 软件 (0.87)
格式化所有 osd 相关磁盘, 确保开机自动挂载  (参考脚本 initdisk.sh)
导入 ssh 密钥到所有新 ceph 主机中

相关脚本

initdisk.sh

#!/bin/bash
LANG=en_US
disk=`fdisk -l | grep ^Disk  | grep sectors | grep sd | grep -v sda | awk -F[:\ ]  '{print $2}' | sort`
yum install -y hdparm
for partition in  $disk
do
  dd if=/dev/zero of=$partition bs=1M count=100
  parted -s $partition mklabel gpt
  parted $partition mkpart primary xfs 1 100%
  hdparm -z "$partition"1
  mkfs.xfs -f -i size=512  "$partition"1
done

p2

参考事件

创建 osd, 参考脚本 (createosd.sh)
初始化 osd,  参考下面脚本  (initosd.sh)
osd 授权, 参考下面脚本  (authosd.sh)
导出当前 ceph crush map,  并修改新的 crush map 规则,  参考下面 crush map 信息
启动 ceph

相关脚本

createosd.sh

#!/bin/bash
LANG=en_US
num=70                     <- 注意 osd 开始 number
for ip in $ips
do
        diskpart=`ssh $ip "fdisk -l  | grep Linux | grep -v sda" | awk '{print $1}' | sort`
                for partition in $diskpart
                do
                        ssh $ip "ceph osd create"
                        ssh $ip "mkdir /var/lib/ceph/osd/ceph-$num"
                        ssh $ip "echo $partition  /var/lib/ceph/osd/ceph-$num   xfs defaults 0 0 >> /etc/fstab"
                        let num++
                done
        ssh $ip "mount -a"
done

initosd.sh

#!/bin/bash
LANG=en_US
num=70               <--- 注意这里, 是新 osd 的开始 NUM
for ip in  $ips
do
        diskpart=`ssh $ip "fdisk -l  | grep GPT | grep -v sda" | awk '{print $1}' | sort`
        for partition in $diskpart
        do
                ssh $ip "ceph-osd -i $num --mkfs --mkkey --osd-uuid dc4f91c1-8792-4948-b68f-2fcea75f53b9"   <-- 主机 ceph fsid
                let num++
        done
done

authosd.sh

#!/bin/bash
LANG=en_US
num=70      <- 注意 osd 开始数字
for ip in  $ips
do
        diskpart=`ssh $ip "fdisk -l  | grep GPT | grep -v sda" | awk '{print $1}' | sort`
        for partition in $diskpart
        do
                ssh $ip "ceph auth add osd.$num osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-$num/keyring"    
                let num++
        done
done

crushmap 获得及重新导入方法

获得默认 crushmap (加密)      [ ceph osd getcrushmap -o crushmap.dump ]
备份当前 crushmap  [ cp  crushmap.dump crushmap.dump_20151218  <- 备份这个当前 crush map ]
转换crushmap 格式（加密格式 -> 明文）  [ crushtool -d crushmap.dump -o crushmap.txt ]
转换 crushmap 格式(明文 -> 加密格式)   [ crushtool -c crushmap.txt -o crushmap.done ]
重新使用新 crushmap  [ ceph osd setcrushmap -i crushmap.done ]

p3

参考事件

先设定 norecovery,  noin 模式
    ceph osd set noin
    ceph osd set norecover
启动 osd
参考启动脚本  (startosd.sh)
恢复 noin,  norecovery
    ceph osd unset noin
    ceph osd unset norecover

startosd.sh

#!/bin/bash
start=1
while [ $start -le 3 ]
do
        for ip in $newceph
        do
                ssh_port=`nmap -p22 $ip | grep '22/tcp' | awk '{print $2}'`
                ssh_status=${ssh_port:-faile}
                if [ "$ssh_status" == "faile" ]
                then
                        start=1
                        break
                else
                        start=10
                fi
        done
done

for ip in $newceph
do
 ssh $ip 'find /var/lib/ceph/osd/ -maxdepth 1   -name "ceph-*" -exec  touch {}/sysvinit \;'
done

for ip in $newceph
do
  ssh $ip "/etc/init.d/ceph -a start osd"
done

p4

参考事件

for num in `seq 70 99`; do  ceph tell osd.$num injectargs '--osd_recovery_threads 5'; done
for num in `seq 70 99`; do  ceph tell osd.$num injectargs '--osd_recovery_op_priority 40'; done
for num in `seq 70 99`; do  ceph tell osd.$num injectargs '--osd_disk_threads 5'; done