环境描述
ceph版本:luminous 12.2.5
OSD三节点,monitor三节点,同时运行在三台物理服务器;
KVM宿主机运行多台虚拟机,其中一台挂载ceph-rbd块存储;
KVM调用ceph-rbd
1.ceph集群创建存储池,创建映像;
2.ceph集群设定映像大小,属性;
3.ceph集群创建针对此存储池访问账户,指定权限;
4.KVM宿主机上创建虚拟机;
5.编辑虚拟机配置文件,添加网络硬盘块;
6.修改硬盘接口,使兼容cephRBD,支持fstrim;
7.虚拟机重定义后启动,格式化硬盘块,挂载到系统本地;
参考网址:
http://docs.ceph.com/docs/master/rbd/libvirt/
故障问题
KVM虚拟机挂载硬盘后,读写删除数据正常,但是数据删除后,ceph集群空间未释放;
已知且验证可行的解决方法
1.ceph-rbd在客户端配置时候,mount命令添加参数(-o discard),可以从客户端和ceph集群删除同步;
- 在客户端执行fstrim -v mountpoint 命令,触发删除请求;
参考网址: