OpenStack对接Ceph

一、创建存储池

创建volumes池，对应Cinder服务

ceph osd pool create volumes 128

创建images池，对应Glance服务

ceph osd pool create images 128

创建vms池，对应Nova服务

cephosdpool create vms 128

创建backups池，对应Cinder-backup服务。但这个backup在同一Ceph集群中，意义不大，既然是做备份的话，就应该跨集群或者跨机房、跨区域来达到备份容灾的目的。

ceph osd pool create backups 128

 

二、客户端配置

安装软件包

主要是Glance,nova,cinder相关服务节点

yum install python-rbd
yum install ceph-common

将ceph节点的ceph.conf文件拷贝所有的client节点

 

三、创建auth用户

ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'

ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'

 

四、拷贝生产的keying文件，保存在相应的节点并修改权限

ceph auth get-or-create client.glance | ssh {glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring

ssh {glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring

ceph auth get-or-create client.cinder | ssh {cinder-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring

ssh {cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

ceph auth get-or-create client.cinder-backup | ssh {cinder-backup-server} sudo tee /etc/ceph/ceph.client.cinder-backup.keyring

ssh {cinder-backup-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring

5、在Libvirt上添加secretkey

// 获取cinder keyring，并保存到一个临时文件中
ceph auth get-key client.cinder | ssh {nova-compute-node} tee client.cinder.key

// 生成一个UUID
uuidgen
457eb676-33da-42ec-9a8c-9293d545c337

// 修改secret.xml文件，注意替换下面的uuid
cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>
<usage type='ceph'>
<name>client.cinder secret</name>
</usage>
</secret>
EOF

sudo virsh secret-define --file secret.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

// 设置libvirt的secret key，并删除之前的key临时文件
sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

6、在三大模块中增加ceph相关配置

Glance配置

// 在/etc/glance/glance-api.conf中添加如下：
// 在DEFAULT域中增加：

[DEFAULT]
default_store=rbd
//在glance_store域中增加如下，如果没有glance_store域，直接创建：
[glance_store]
stores=rbd
rbd_store_pool=images
rbd_store_user=glance
rbd_store_ceph_conf=/etc/ceph/ceph.conf
rbd_store_chunk_size=8

Cinder配置

[DEFAULT]

enabled_backends=ceph
//在ceph域中增加如下，如果没有ceph域，直接创建：

[ceph]
volume_driver=cinder.volume.drivers.rbd.RBDDriver
rbd_pool=volumes
rbd_ceph_conf=/etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot=false
rbd_max_clone_depth=5
rbd_store_chunk_size=4
rados_connect_timeout=-1
glance_api_version=2
//如果使用了cephauth，还需增加：
rbd_user=cinder
rbd_secret_uuid=457eb676-33da-42ec-9a8c-9293d545c337

Cinder-backup配置

//在/etc/ceph/ceph.conf中添加如下：
backup_driver=cinder.backup.drivers.ceph
backup_ceph_conf=/etc/ceph/ceph.conf
backup_ceph_user=cinder-backup
backup_ceph_chunk_size=134217728
backup_ceph_pool=backups
backup_ceph_stripe_unit=0
backup_ceph_stripe_count=0
restore_discard_excess_bytes=true

Nova配置​​​​​​​

//在/etc/nova/nova.conf中添加如下：

[libvirt]
images_type=rbd
images_rbd_pool=vms
images_rbd_ceph_conf=/etc/ceph/ceph.conf
rbd_user=cinder
rbd_secret_uuid=457eb676-33da-42ec-9a8c-9293d545c337
disk_cachemodes="network=writeback"

重启glance-api、nova-compute、cinder-volume、cinder-backup服务