Glusterfs作为分布式文件系统,具有简单、高效的特性。同时还支持RDMA协议挂载到客户端,大大降低延迟。但Infiniband网络使用成本毕竟高,所以当集群规模大了之后,可能就会考虑到进行网络转型,考虑使用传统的TCP 25Gb或40Gb来取代。由于Glusterfs不能做到像Lustre那样同时支持两套网络,所以当网络调整时需要我们手动去修改glusterfs的网络配置。目前经过验证的可靠方案是更改所有gluster-server节点中与创建的volume相关的配置文件。比较多,下面进行详细说明。
创建Volume时,通过使用transport rdma,tcp 参数可以使该卷同时支持rdma和tcp两种协议。一个volume创建完成后,在/var/lib/glusterfs下会生成一些配置文件:
[root@hpc-242-057 volume-tcp]# gluster volume create volume-test transport rdma,tcp 11.11.11.54:/brick1/vd_test 11.11.11.57:/brick1/vd_test
volume create: volume-test: success: please start the volume to access data
[root@hpc-242-057 volume-tcp]# cd /var/lib/glusterd/vols/volume-test/
[root@hpc-242-057 volume-test]# ll
total 48
drwxr-xr-x 2 root root 4096 Jan 21 11:34 bricks
-rw------- 1 root root 16 Jan 21 11:34 cksum
-rw------- 1 root root 502 Jan 21 11:34 info
-rw------- 1 root root 93 Jan 21 11:34 node_state.info
-rw------- 1 root root 13 Jan 21 11:34 snapd.info
-rw------- 1 root root 1744 Jan 21 11:34 trusted-volume-test.rdma-fuse.vol
-rw------- 1 root root 1742 Jan 21 11:34 trusted-volume-test.tcp-fuse.vol
-rw------- 1 root root 1516 Jan 21 11:34 volume-test-rebalance.vol
-rw------- 1 root root 3315 Jan 21 11:34 volume-test.11.11.11.54.brick1-vd_test.vol
-rw------- 1 root root 3315 Jan 21 11:34 volume-test.11.11.11.57.brick1-vd_test.vol
-rw------- 1 root root 1516 Jan 21 11:34 volume-test.rdma-fuse.vol
-rw------- 1 root root 1514 Jan 21 11:34 volume-test.tcp-fuse.vol
创建volu