ceph 学习笔记

PG操作
查询ty.1 存储池pg数量

ceph osd pool get ty.1 pg_num

调整ty.1 pg数量到512

ceph osd pool set ty.1 pg_num 512

加快回填速度

ceph tell osd.* injectargs --osd_max_backfills=32
ceph tell osd.* injectargs --osd_recovery_op_priority=32
ceph tell osd.* injectargs --osd_recovery_max_active=32
ceph tell osd.* injectargs --osd_recovery_max_single_start=32
ceph tell osd.* injectargs --osd_recovery_threads=32

减慢回填速度

ceph tell osd.* injectargs --osd_max_backfills=1
ceph tell osd.* injectargs --osd_recovery_op_priority=1
ceph tell osd.* injectargs --osd_recovery_max_active=1
ceph tell osd.* injectargs --osd_recovery_max_single_start=1
ceph tell osd.* injectargs --osd_recovery_threads=1

增加硬盘延时

ceph tell osd.* injectargs --osd_recovery_sleep = 0.2

RBD操作
获取pool ty.1的映像列表

rbd list ty.1

查看vm-888-disk-0的信息

rbd info ty.1/vm-888-disk-0

删除ty.1下的rbd

rbd rm ty.1/vm-xxx-disk-0

查询操作

ceph -s
ceph osd tree

标签操作

删除osd.6的class标签

ceph osd crush rm-device-class osd.6

查看类型

ceph osd crush class ls

给osd.6加上ssd标签

ceph osd crush set-device-class ssd osd.6

OSD操作

OSD踢出集群

 ceph osd out osd.2  

OSD 移出集群CRUSH

 ceph osd crush remove osd.2 

#删除OSD 认证密钥

ceph auth del osd.2

#删除OSD
ceph osd rm 2

#降osd权重
ceph osd crush reweight osd.2 0

#删除掉crush map中已没有osd的host。

ceph osd crush remove <HOST>

查询CEPH的LVM

ceph-volume lvm list
vgs

删除VG

vgremove ceph-7911620c-3c88-4093-89a6-c374d3aeea0e

删除后对卷FSDISK一下

fdisk /dev/sdb
w保存一下

接着可以重新加入OSD
使用过的硬盘如果不能重新加入。
查看底层逻辑卷信息。

dmsetup ls
tree /dev/mapper/

删除多余的ceph路径

dmsetup remove ceph*

清空真个机子的ceph的标记路劲

dmsetup remove ceph*

---

查看存储池副本数（冗余级别）

ceph osd lspools
ceph osd pool get dp0 size

PROXMOX OSD加入失败，手动启动OSD
启动OSD

var/lib/ceph/osd# /bin/systemctl enable --runtime ceph-osd@16
var/lib/ceph/osd# systemctl start ceph-osd@16

reweight-by-pg 按归置组分布情况调整 OSD 的权重

ceph osd reweight-by-pg

reweight-by-utilization 按利用率调整 OSD 的权重

ceph osd reweight-by-utilization

数据均衡后查看权重

ceph osd df tree | awk '/osd\./{print $NF" "$4 }'

获取存储池配额

ceph osd pool get-quota pool-name

1.rbd ls 查看ceph默认资源池rbd里面的镜像

2.rbd info xxx.img 查看xxx.img的具体的具体信息

3.rbd rm xxx.img 删除xxx.img

4.rbd cp aaa.img bbb.img 拷贝镜像aaa.img为bbb.img

5.rbd rename aaa.img bbb.img 重命名aaa.img为bbb.img

6.rbd import aaa.img 将本地的aaa.img导入ceph集群中

7.rbd export aaa.img 将ceph集群中aaa.img导出到本地

8.rbd import --image-format 2 win2008_32.img rbd/win2008_test.img　--order 25

导入原有虚机镜像, format为2，–order 25 表示object size为32M

（将win2008_32.img导入rbd资源池，并命名为win2008_test.img，因为在快照保护时format必须是2，import默认format是1）

9.创建镜像快照（给win2008_test.img创建名为win2008Snap 的快照）

rbd snap create --snap win2008Snap rbd/win2008_test.img

10.保护快照

rbd snap protect rbd/win2008_test.img@win2008Snap

(保护win2008_test的快照文件)

11.克隆快照(克隆rbd资源池中的win2008_test的快照 至rbd/newstest.img中)

rbd clone rbd/win2008_test.img@win2008Snap rbd/newtest.img

12.快照去保护 rbd snap unprotect rbd/win2008_test.img@win2008Snap

13 查看镜像是否有快照 rbd snap ls rbd/test3_temp1_clone.img

14.删除快照 rbd snap rm rbd/win2008_test.img@win2008Snap

15.还原快照克隆出来的镜像 rbd flatten rbd/test.img

16.查看子镜像 rbd children 资源池名/镜像名@快照名

rbd children rbd/test.img@test_snp.img

17.将块设备映射到本地 rbd map disk01 –pool rbd –id admin

18.查看所有的映射 rbd showmapped

19.取消映射 rbd unmap /dev/rbd1

20.rbd resize rbd/test.img -s 10G

ceph命令：

1. 查看osd 的目录树: ceph osd tree

2. 查看机器的实时运行状态 ：ceph –w

3. 查看ceph的存储空间 ：ceph df

4. 查看mon的状态信息 ：ceph mon stat

5. 查看osd运行状态 : ceph osd stat

---------------------客户端操作

在ty.9的存储池里创建vd.1的RBD

映射vd.1

rbd map ty.9/vd.1

取消映射

rbd unmap /dev/rbd1

删除vd.1

rbd remove ty.9/vd.1