Ceph其他常用命令（制作块设备使用）

1. 查看池列表
# ceph osd lspools
或者
# rados lspools

[root@ceph01 ~]# ceph osd lspools
0 rbd,
[root@ceph01 ~]# rados lspools
rbd

2. 查看池的详细信息（ID、副本数、crush规则集、pg数等）
# ceph osd dump | grep -i pool

[root@ceph01 ~]# ceph osd dump | grep -i pool
pool 0 'rbd' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 flags hashpspool stripe_width 0

3. 创建池
# ceph osd pool create 池名称 pg数 pgp数
pg与pgp
pg是用来存放object的，pgp相当于是pg存放osd的一种排列组合，我举个例子，比如有3个osd，osd.1、osd.2和osd.3，副本数是2，如果pgp的数目为1，那么pg存放的osd组合就只有一种，可能是[osd.1,osd.2]，那么所有的pg主从副本分别存放到osd.1和osd.2，如果pgp设为2，那么其osd组合可以两种，可能是[osd.1,osd.2]和[osd.1,osd.3]，是不是很像我们高中数学学过的排列组合，pgp就是代表这个意思。一般来说应该将pg和pgp的数量设置为相等。例如：创建一个名为sg的池，pg数128，pgp数128

[root@ceph01 ~]# ceph osd pool create sg 128 128
pool 'sg' created

4. 修改池的副本数
# ceph osd pool set 池名称 size n

[root@ceph01 ~]# ceph osd pool set sg size 5
set pool 1 size to 5

5. 重命名池
# ceph osd pool rename 原名 新名

[root@ceph01 ~]# ceph osd pool rename sg test
pool 'sg' renamed to 'test'

6. 数据管理
创建文件用以测试池的副本数
# echo ‘Hello Ceph!’ > /tmp/test
将文件存入池中
# rados -p test put object1 /tmp/test
确认该文件是否在池中
# rados -p test ls
查看test池中的对象object1与osd的映射关系
# ceph osd map test object1

[root@ceph01 ~]# echo 'Hello Ceph!' > /tmp/test
[root@ceph01 ~]# rados -p test put object1 /tmp/test 
[root@ceph01 ~]# rados -p test ls
object1
[root@ceph01 ~]# ceph osd map test object1
osdmap e39 pool 'test' (1) object 'object1' -> pg 1.bac5debc (1.3c) -> up ([3,4,1], p3) acting ([3,4,1], p3)

7. 块设备操作
创建块设备
# rbd create 介质名 --size 大小(M) --pool 池名称
列出块设备
# rbd ls 池名称
检索块信息
# rbd --image 介质名 info --pool 池名称

[root@ceph01 ~]# rbd create aa --size 1024M --pool test
[root@ceph01 ~]# rbd ls test
aa
[root@ceph01 ~]# rbd --image aa info --pool test
rbd image 'aa':
	size 1024 MB in 256 objects
	order 22 (4096 kB objects)
	block_name_prefix: rbd_data.107c6b8b4567
	format: 2
	features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
	flags: 

disable这个rbd镜像的不支持的特性
# rbd feature disable aa --pool test exclusive-lock object-map fast-diff deep-flatten
块设备映射
# rbd map 介质名 --pool 池名称 --id admin
查看已映射的块设备
# rbd showmapped
制作文件系统
# mkfs.ext4 /dev/rbd0
挂载并使用
# mkdir -p /mnt/aa
# mount /dev/rbd0 /mnt/aa
# echo ‘/dev/rbd0 /mnt/aa ext4 defaults,noatime,_netdev 0 0’ >> /etc/fstab

[root@ceph01 ~]# rbd feature disable aa --pool test exclusive-lock object-map fast-diff deep-flatten
[root@ceph01 ~]# rbd map aa --pool test --id admin
/dev/rbd0[root@ceph01 ~]# rbd showmapped
id pool image snap device    
0  test aa    -    /dev/rbd0 
[root@ceph01 ~]# mkfs.ext4 /dev/rbd0
mke2fs 1.42.9 (28-Dec-2013)
Discarding device blocks: 完成                            
文件系统标签=
OS type: Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=1024 blocks, Stripe width=1024 blocks
65536 inodes, 262144 blocks
13107 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=268435456
8 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
	32768, 98304, 163840, 229376

Allocating group tables: 完成                            
正在写入inode表: 完成                            
Creating journal (8192 blocks): 完成
Writing superblocks and filesystem accounting information: 完成
[root@ceph01 ~]# mkdir -p /mnt/aa
[root@ceph01 ~]# mount /dev/rbd0 /mnt/aa
[root@ceph01 ~]# echo '/dev/rbd0 /mnt/aa ext4 defaults,noatime,_netdev 0 0' >> /etc/fstab
[root@ceph01 ~]# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda           8:0    0   20G  0 disk 
├─sda1        8:1    0    1G  0 part /boot
├─sda2        8:2    0    2G  0 part 
│ └─cl-swap 253:0    0    2G  0 lvm  [SWAP]
└─sda3        8:3    0   17G  0 part /
sdb           8:16   0   20G  0 disk 
├─sdb1        8:17   0   15G  0 part /var/lib/ceph/osd/ceph-0
└─sdb2        8:18   0    5G  0 part 
sdc           8:32   0   20G  0 disk 
├─sdc1        8:33   0   15G  0 part /var/lib/ceph/osd/ceph-1
└─sdc2        8:34   0    5G  0 part 
sr0          11:0    1  7.7G  0 rom  /mnt/cdrom
rbd0        252:0    0    1G  0 disk /mnt/aa