OpenStack+Ceph存储空间回收

问题描述

在OpenStack云环境的部署中，存储通常具备Thin provision的功能，这项功能实现了存储按需分配的能力。现在有这样一种场景，用户在文件系统中创建了大文件，使用完之后进行了删除。但实际上，该文件在存储系统上占用的空间并没有释放。

当用户在文件系统中删除一个文件，并不会在块设备上的对应空间填0，而仅仅在磁盘的元数据结构中将这些block标记为未使用。因此，虽然文件系统知道这些block是未使用或者说可用的，但是底层的存储系统并不知道文件系统做的操作，会认为这些block仍在使用。以RBD image为例，它本身是稀疏格式的，也就是说它所占用objects会随着用户写入数据的增加而增加（Thin provision）。当用户删除数据以后，这些obejct不再使用，但并没有被释放。因为从Ceph的角度讲，它并不知道文件系统中发生的事情。

解决办法

比较理想的解决办法就是，提供一种空间回收机制，文件系统可以通知块设备释放掉不再使用的block。Linux的Trim/Discard机制正是这样一种机制。从Ceph 0.46，Ceph的块设备开始支持Trim/Discard操作。这意味着，从Guest虚拟机中可以发出Trim请求，Ceph块设备就可以释放掉不再使用的空间。

需要注意的是，当前只有主流的文件系统，比如Ext4、XFS、Btrfs，支持Trim/Discard操作。

触发Trim/Discard请求

有两种方式可以触发Trim/Discard请求，一种是由文件系统自动完成，一种是用户通过执行命令来完成。

一、文件系统自动完成

只要在挂载文件系统时指定discard参数即可，比如 mount -t ext4 -o discard  device mountpoint，这样在文件系统中删除文件后会自动触发Trim/Discard操作，在块设备上释放占用的空间。

二、用户执行命令