glusterfs分布式文件系统安装调试

原创 2015年07月10日 15:15:07

Glusterfs分布式文件系统安装调试


Edit by esxu
2015.07.08

概述

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。

image

安装部署

Glusterfs安装部署相对来说较简单,几步操作即可完成。

yum源配置

wget http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo

可直接使用官方的yum源即可,如果是内网可将源同步到本地,目前支持的版本一到centos7.1

创建并挂载本地磁盘

fdisk /dev/sdb and create a single partition

格式化

 mkfs.xfs -i size=512 /dev/sdb1

作为brick进行挂载

 mkdir -p /export/sdb1 && mount /dev/sdb1 /export/sdb1 && mkdir -p /export/sdb1/brick

写入开机挂载启动文件中

echo "/dev/sdb1 /export/sdb1 xfs defaults 0 0"  >> /etc/fstab

执行安装

Server端

yum install  -y glusterfs-server  glusterfs-rdma.x86_64

如果不使用IB网络,则glusterfs-rdma.x86_64这个软件包就不需要安装,只安装一个server包即可。

启动服务

service glusterd start

添加存储节点

gluster peer probe server2

该命令在任意一台server上执行即可,这里最好使用节点的hostname,这里如果还有第三个存储节点,则还需再执行一次

gluster peer probe server3

添加完server节点后,可进行存储节点状态查看:

[root@jobsub-138-015 locks]# gluster peer status
Number of Peers: 4

Hostname: 11.11.11.209
Uuid: c9f2ecdf-9186-49e2-88b5-992a5351f7b3
State: Peer in Cluster (Connected)
Other names:
192.168.138.19
11.11.11.209

Hostname: jobsub-138-017
Uuid: 0e4544e9-a66a-49c4-8565-3c4ebb5cf94d
State: Peer in Cluster (Connected)
Other names:
192.168.138.17
11.11.11.207

Hostname: jobsub-138-018
Uuid: 8c78cfb6-57da-46b5-8718-d12fe0553fc3
State: Peer in Cluster (Connected)
Other names:
11.11.11.208

Hostname: 11.11.11.206
Uuid: 72b422f1-3e8f-4ec3-ab8b-3067f43b0f6d
State: Peer in Cluster (Connected)
Other names:
192.168.138.16

卷管理

各节点状态都正常后,即可创建volume,这里的volume可以理解为逻辑卷,一个glusterfs文件系统之上可以创建多个volume,卷的类型也有多种:

  • 哈席卷
  • 复制卷
  • 条带卷

以上是glusterfs的三种基本卷类型,可以通过组合的方式创建复合卷

哈席卷:

gluster volume create volume02  transport rdma   11.11.11.205:/jst-data/glusterfs/vol05 11.11.11.206:/jst-data/glusterfs/vol06 11.11.11.207:/jst-data/glusterfs/vol05 11.11.11.208:/jst-data/glusterfs/vol05

transport rdma参数表示该卷类型为RDMA协议卷,默认不添加是TCP/IP卷,也可在创建卷时指定卷同时支持rdma、tcp:

gluster volume create volume02  transport rdma,tcp  11.11.11.205:/jst-data/glusterfs/vol05 11.11.11.206:/jst-data/glusterfs/vol06 11.11.11.207:/jst-data/glusterfs/vol05 11.11.11.208:/jst-data/glusterfs/vol05

如果节点个数非常多,也可通过下面简化命令进行操作

gluster volume create volume02 transport rdma   11.11.11.{205,206,207,208}:/jst-data/glusterfs/vol05 

复制卷:

gluster volume create volume02  replica 4 transport rdma   11.11.11.{205,206,207,208}:/jst-data/glusterfs/vol05 

这里副本数设置为4,这里有四个server节点,节点的数量必须是副本数的倍数,否则无法创建成功,这里如果副本数设置为2,则卷类型会自动转换为哈希-复制卷。

条带卷:

gluster volume create volume02  stripe 2 transport rdma   11.11.11.{205,206,207,208}:/jst-data/glusterfs/vol05 

条带数目设置为2,也就是每个文件会被拆分2份分布在不同的brick上。为了保证数据的安全性,可以创建条带-复制复合卷

条带-复制卷:

gluster volume create volume04 stripe 2 replica 2 transport rdma  11.11.11.{205,206,207,208}:/jst-data/glusterfs/vol05 

以上列举了几种常用卷类型的创建方式,创建完volume后,需将卷启动才能使用:

gluster volume start volume_name

客户端配置

安装相关软件包

wget http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo

yum -y install glusterfs glusterfs-fuse glusterfs-rdma.x86_64 

客户端需安装相应的glusterfs软件包才可支持本地方式挂载,否则无法识别glusterfs文件系统。

挂载方式

本地客户端挂载:

mount -t glusterfs -o transport=rdma 11.11.11.208:volume04 /gluster04

只需要写其中一个server的IP即可,volume4是卷名称,/gluster04是目标目录。

NFS方式挂载

mount -t nfs -o vers=3 11.11.11.208:volume04 /gluster04

也支持windows下的CIFS方式挂载

相关文章推荐

分布式文件系统glusterfs安装步骤

下载   glusterfs-3.2.0.tar.gz  源码包。 随便解压到一个目录。glusterfs 需要 fuse 的支持, 在安装开始之前请先安装 fuse。fuse可以到http://fu...

GlusterFS分布式文件系统

  • 2017年11月07日 18:51
  • 1.14MB
  • 下载

GlusterFS分布式文件系统

  • 2015年09月22日 16:43
  • 4.15MB
  • 下载

glusterfs分布式文件系统初探

公司有几台就服务器,正好有个项目对磁盘的容量以及性能有一定的要求,故而寻求分布式文件系统方面的知识,最终采用了glusterfs。以下对部署以及测试过程潦做记录。glusterfs分布式文件系统采用C...
  • kai404
  • kai404
  • 2016年10月19日 21:13
  • 187

开源分布式文件系统GlusterFS 3.3 发布

开源分布式文件系统GlusterFS 3.3 发布 来源:http://www.infoq.com/cn/news/2012/06/glusterfs-3-3-release ...
  • xymyeah
  • xymyeah
  • 2012年06月08日 16:13
  • 1200

glusterFS 分布式文件系统初探

一、glusterFS 简介         glusterFS是一个开源d

GlusterFS分布式文件系统使用简介

0 术语简介 GlusterFS是一个开源的分布式文件系统。更多特性介绍附录的参考文档。 Brick:GFS中的存储单元,通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和...
  • zzulp
  • zzulp
  • 2014年09月24日 20:05
  • 45650

关于libvirt挂载glusterFs分布式文件系统下的镜像研究

实验目的:将虚拟机中的一块硬盘放到分布式文件系统上以保障数据安全。 参与人员:虚拟机,物理机,分布式文件系统集群。 分布式文件系统部分: 我们这里选用的是glusterfs这个分布式文件系统 ...
  • ptmagic
  • ptmagic
  • 2013年04月02日 16:05
  • 1459

分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较

原文:http://blog.csdn.net/metaxen/article/details/7108958   MooseFS(MFS) Ceph ...
  • dipolar
  • dipolar
  • 2015年12月02日 23:00
  • 1262

GlusterFS分布式文件系统使用简介

转自:http://blog.csdn.net/zzulp/article/details/39527441 0 术语简介 GlusterFS是一个开源的分布式文件系统。更多特性介绍附录的参考文档...
  • cnhome
  • cnhome
  • 2017年02月10日 16:12
  • 567
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:glusterfs分布式文件系统安装调试
举报原因:
原因补充:

(最多只允许输入30个字)