Glusterfs Rebalance简析

Glusterfs Rebalance
GlusterFS的哈希分布是以目录为基本单位的，文件的父目录利用扩展属性记录了子卷映射信息，子文件在父目录所属存储服务器中进行分布。由于文件目录事先保存了分布信息，因此新增节点不会影响现有文件存储分布，它将从此后的新创建目录开始参与存储分布调度。这种设计，新增节点不需要移动任何文件，但是负载均衡没有平滑处理，老节点负载较重。GlusterFS在设计中考虑了这一问题，在新建文件时会优先考虑容量负载最轻的节点，在目标存储节点上创建文件链接直向真正存储文件的节点。此外，GlusterFS弹性卷管理工具可以在后台以人工方式来执行负载平滑，将进行文件移动和重新分布，此后所有存储服务器都会均会被调度。

Glusterfs管理工具gluster提供了Volume Rebalance功能，使用方法如下：

gluster volume rebalance <VOLNAME> [fix-layout|migrate-data] {start|stop|status} - rebalance operations

利用这个功能可以对已经存在的目录文件进行Rebalance，使得早先创建的老目录可以在新增存储节点上分布，并可对现有文件数据进行迁移实现容量负载均衡。为了便于控制管理，rebalance操作分为两个阶段进行实际执行，即fix layout和migrate data。gluster volume rebalance目前支持以下三种应用场景：
1、Fix Layout
　用法：gluster volume rebalance <VOLNAME> fix-layout {start|stop|status}，修复layout以使得新旧目录下新建文件可以在新增节点上分布上。

2、Migrate Data
　用法：gluster volume rebalance <VOLNAME> migrate-data {start|stop|status}，新增或缩减节点后，在卷下所有节点上进行容量负载平滑。为了提高rebalance效率，通常在执行此操作前先执行Fix Layout。

3、Fix Layout and Migrate Data
　用法：gluster volume rebalance <VOLNAME> {start|stop|status}，同时执行以上两个阶段操作，先Fix Layout再Migrate Data。

Fix Layout (gf_glusterd_rebalance_fix_layout)流程
1、对mount point递归调用sys_lgetxattr(fullpath, "trusted.distribute.fix.layout", &value, 128)
2、每次调用触发fuse translator，并传递触发dht translator
3、触发调用dht translator接口函数dht_getxattr
4、由于指定了trusted.distribute.fix.layout，触发dht_selfheal_new_directory进行目录layout修复

Migrate Data (gf_glusterd_rebalance_move_data)流程
1、对mount point递归遍历目录两遍
2、第一遍只对文件进行操作，进行文件迁移
　1）copy文件至临时文件（临时文件需要位于mount point下）
  2）复制属性，迁移扩展属性，更新uid/gid/time
  3）rename临时文件名为原文件名
3、第二遍只对子目录进行操作，递归对子目录调用gf_glusterd_rebalance_move_data