CEPH相关命令

1.创建POOL

添加一个POOL，同时指定pg和pgp数量，一般一个月数据60T，一块盘54T，一块盘分配50-100个pg，考虑副本数，一般一个月256个pg

ceph osd pool create <pool_name> <pg_num> <pgp_num>

2.Ceph修改PG数量

1.修改pg_num(默认pool)

ceph osd pool set rbd pg_num <pg_number>

2.修改pgp_num(默认pool)

ceph osd pool set rbd pgp_num <pg_number>

3.查看rbd下面块

查看所有块

rbd ls

查看指定pool下面的块

rbd ls <pool_name>

4.强行删除rbd

1.查看rbd img的header，watcher信息

rbd status <pool_name>/<rbd_name>

2.将这个watcher添加到黑名单

ceph osd blacklist add <watcher id>

3.取消rbd映射

rbd unmap <pool_name>/<rbd mount path>

4.删除rbd

rbd rm <pool_name>/<rbd name>

5.Ceph查看各种状态

1.查看osd分布

	ceph osd tree

2.查看osd存储状态

	ceph osd df |grep 80

3.查看创建的空间

	rbd ls <pool_name>

4.查看映射

	rbd showmapped

5.查看pool

	ceph osd lspools

6.查看pg数量

	ceph osd pool get <pool_name> pg_num

7.ceph健康

	ceph health detail

6.Ceph均衡

一、根据WEIGHT权重均衡，与磁盘最大容量有关

	ceph osd crush reweight osd.110 5

二、根据REWEIGHT权重(容易引起数据迁移)，数据分配权重 0~1之间的数值

	ceph osd reweight 274 0.9

三、自动均衡工具
1.按利用率调整 OSD 的权重，还需考虑负载比率，默认 120

	ceph osd reweight-by-utilization {<int[100-]>}

四、自动均衡测试
该命令不会真正进行均衡调整，会打印出自动生成的权重修改信息，作为参考

	ceph osd test-reweight-by-utilization

五、修改osd最大可写容量

	ceph pg set_full_ratio 0.97

7.Ceph降pool副本

1.查看pool(202001)默认副本数

	ceph osd pool get 202001 size

2.修改pool(202001)副本数为2

	ceph osd pool set 202001 size 2

8.Ceph扩容过程

1.Ceph要求系统版本为CentOS7以上.
2.配置YUM源等.
3.hosts
4.关闭防火、SELINUX

一、存储服务器操作

1.dd 测试（可选操作）

	dd if=/dev/zero of=/dev/sd{b,c,d,e.....} bs=4096 count=10240

2.重新创建磁盘分区表（）

	parted -s /dev/sd{b,c,d,e......} mklabel gpt

3.创建uceph用户

		useradd -d /home/uceph -m uceph
		echo "111111" | passwd --stdin uceph
		echo "uceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/uceph
		chmod 0440 /etc/sudoers.d/uceph

二、Ceph主节点操作:

1.切换到uceph用户.
2.配置uceph用户对存储节点的免密登陆(uceph默认密码为’111111’)

	ssh-copy-id node-111

3.远程在存储节点安装ceph

	ceph-deploy install node-111

4.给存储节点权限

	ceph-deploy admin node-111

5.添加磁盘osd

	ceph-deploy osd create node-111:sdb (node-111:sdc node-111:sdd ...)

6.激活osd

	ceph-deploy osd activate node-22:sdd1 (node-111:sdc1 node-111:sdd1 ...)

7. 切换到root查看osd情况

	ceph osd tree

9.ceph配置查看

	ceph --show-config

10.osd节点卸载

1.标记out 将osd踢出集群

	ceph osd out osd.274

2.到指定服务器 停止服务

	/etc/init.d/ceph stop osd.274

3.删除crush图对应的osd条目

	ceph osd crush remove osd.270

4.删除osd认证秘钥

	ceph auth del osd.270

5.删除osd.274

	ceph osd rm osd.270

6.查看是否踢出

	ceph osd tree

10.ceph问题

1.磁盘挂载修复

	xfs_repair -L /dev/rbd2

2.ceph pg修复

	ceph pg repair <pg_id>