文章目录
一、GlusterFS
- 是一个开源的分布式文件系统
- 由存储服务器,客户端以及NFS/Samba存储网关组成
- 无元数据服务器
1、FS文件系统的组成
- 文件系统接口
- 对对象管理的软件集合
- 对象及属性
二、GFS特点
①扩展性和高性能
②高可用性
③全局统一命名空间
④弹性卷管理
⑤基于标准协议
三、GFS术语
- Brick(块存储服务器)实际存储用户数据的服务器
- Volume 本地问价系统的“分区”
- FUSE 用户空间的文件系统(类别EXT4),“这是一个伪文件系统”,用户端的交换模块
- VFS(虚拟端口)内核态的虚拟文件系统,用户是提交请求给VFS然后VFS交给FUSH,再交给GFS客户端,最后由客户端交给圆的存储
- Glusterd(服务)是运行再存储节点的进程(客户端运行的是gluster client)GFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd完成
四、GFS构成
- API:应用程序编程接口
- 模块化:每个模块可以提供不同的功能
- 堆栈式:同时启用多个模块,多个功能可以组合,实现复杂的功能
五、后端存储如何定位文件
- 弹性HASH算法:
①通过HASH算法得到一个固定长度的数据(这里是32位整数)
②通常情况下,不同数据得到的结果是不同的 - 为了解决分布式问价数据索引、定位的复杂程度,而使用了HASH算法来辅助
六、GFS支持的七种卷
1、分布式卷(默认):文件通过HASH算法分布到所有Brick Server上,这种卷是GFS的基础;以文件为单位根据HASH算法散列到不同的Brick,其实只是扩大了磁盘空间,并不具备容错能力,属于文件raid 0
2、条带卷(默认):类似raid 0,文件被分成数据库并以轮询的方式分布到多个Brick Server上,文件存储以数据快为单位,支持大文件存储,文件越大读取效率越高
3、复制卷(Replica volume):将文件同步到多个Brick上,使其具备多个文件副本,属于文件级raid 1具有容错能力。因为数据分散在多个brick中,所以读性能得到很大提升,但写性能下降
4、分布式条带卷(Distribute Stripe volume):brick server 数量是条带数(数据块分布的brick数量)的倍数,兼备分布式卷和条带的特点
5、分布式复制卷(Distribute Relica volume):brick server数量是镜像数(数据副本 数量)的倍数,兼备分布式卷和复制卷的特点
6、条带复制卷(Stripe Replca volume):类似 raid 1 0.同时具有条带卷和复制卷的特点
7、分布式条带复制卷(Distribute Stripe Replicavolume):三种基本卷的复合卷通常用于类MapReduce应用
七、GFS搭建部署
1、首先、每台节点添加4块磁盘
Node1节点:node1/192.168.159.110 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node2节点:node2/192.168.159.120 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node3节点:node3/192.168.159.130 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node4节点:node4/192.168.159.140 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
2、在所有节点进行磁盘挂载,安装本地资源
[root@node1 ~]# vim /opt/fdisk.sh
#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
case $VAR in
sda)
##本地磁盘就退出case语句
fdisk -l /dev/sda
break ;;
sd[b-z])
#create partitions
echo "n ##创建磁盘
p
w" | fdisk /dev/$VAR
#make filesystem
##格式化
mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
#mount the system
mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
###使得挂载生效
mount -a &> /dev/null
break ;;
quit)
break;;
*)
echo "wrong disk,please check again";;
esac
done
[root@node1 opt]#chmod +x fdisk.sh
[root@node1 opt]#./fdisk.sh
[root@node1 opt]# echo "192.168.159.110 node1" >> /etc/hosts
[root@node1 opt]# echo "192.168.159.120 node2" >> /etc/hosts
[root@node1 opt]# echo "192.168.159.130 node3" >> /etc/hosts
[root@node1 opt]# echo "192.168.159.140 node4" >> /etc/hosts
[root@node1 opt]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# ls
CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repo
CentOS-CR.repo CentOS-fasttrack.repo CentOS-Sources.repo
[root@node1 yum.repos.d]# mkdir repo.bak
[root@node1 yum.repos.d]# mv CentOS-* repo.bak
[root@node1 yum.repos.d]# vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
[root@node1 yum.repos.d]# yum clean all && yum makecache
已加载插件:fastestmirror, langpacks
正在清理软件源: glfs
Cleaning up list of fastest mirrors
Other repos take up 1.2 G of disk space (use --verbose for details)
已加载插件:fastestmirror, langpacks
Determining fastest mirrors
glfs | 2.9 kB 00:00:00
(1/3): glfs/primary_db | 92 kB 00:00:00
(2/3): glfs/other_db | 46 kB 00:00:00
(3/3): glfs/filelists_db | 62 kB 00:00:00
元数据缓存已建立
[root@node1 gfsrepo]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@node1 gfsrepo]# systemctl start glusterd
[root@node1 gfsrepo]# systemctl enable glusterd
[root@node1 gfsrepo]# systemctl status glusterd
● glusterd.service - GlusterFS, a clustered file-system server
Loaded: loaded (/usr/lib/systemd/system/glusterd.service; disabled; vendor preset: disabled)
Active: active (running) since 五 2021-08-13 20:55:05 CST; 5s ago
Process: 10588 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)
Main PID: 10589 (glusterd)
Tasks: 8
CGroup: /system.slice/glusterd.service
└─10589 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO
8月 13 20:55:05 node1 systemd[1]: Starting GlusterFS, a clustered file-system server...
8月 13 20:55:05 node1 systemd[1]: Started GlusterFS, a clustered file-system server.
3、添加节点创建集群
添加节点到存储信任池中
[root@node1 ~] # gluster peer probe node1
peer probe: success. Probe on localhost not needed
[root@node1 ~] # gluster peer probe node2
peer probe: success.
[root@node1 ~] # gluster peer probe node3
peer probe: success.
[root@node1 ~] # gluster peer probe node4
peer probe: success.
[root@node1 ~] # gluster peer status
Number of Peers: 3
Hostname: node2
Uuid: 2ee63a35-6e83-4a35-8f54-c9c0137bc345
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: e63256a9-6700-466f-9279-3e3efa3617ec
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: 9931effa-92a6-40c7-ad54-7361549dd96d
State: Peer in Cluster (Connected)
4、根据规划创建卷
========根据以下规划创建卷=========
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
4.1 创建分布式卷
[root@node1 opt]# gluster volume create dis-volume node1:/data/sdb1 node3:/data/sdb1 force
volume create: dis-volume: success: please start the volume to access data
[root@node1 opt]# gluster volume list
dis-volume
[root@node1 opt]# gluster volume start dis-volume
volume start: dis-volume: success
[root@node1 opt]# gluster volume info dis-volume
Volume Name: dis-volume
Type: Distribute
Volume ID: dcee994f-a69a-49dd-8799-241259f2991d
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node3:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
4.2 创建条带卷
[root@node1 opt]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node3:/data/sdc1 force
volume create: stripe-volume: success: please start the volume to access data
[root@node1 opt]# gluster volume start stripe-volume
volume start: stripe-volume: success
[root@node1 opt]# gluster volume info stripe-volume
Volume Name: stripe-volume
Type: Stripe
Volume ID: 631cc253-d0c8-4cff-be86-5380827a5479
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node3:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
4.3 创建复制卷
[root@node2 opt]# gluster volume create rep-volume replica 2 node2:/data/sdb1 node4:/data/sdb1 force
volume create: rep-volume: success: please start the volume to access data
[root@node2 opt]# gluster volume start rep-volume
volume start: rep-volume: success
[root@node2 opt]# gluster volume info rep-volume
Volume Name: rep-volume
Type: Replicate
Volume ID: 2e1f2d7b-b34b-40c1-ba5c-9a2e298a964d
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node2:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
4.4 创建分布式条带卷
指定类型为stripe,数值为2,而且后面跟了4个brick server,是2的两倍,所以创建的是分布式条带卷
[root@node1 ~] # gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 ~] # gluster volume start dis-stripe
volume start: dis-stripe: success
[root@node1 ~] # gluster volume info dis-stripe
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: beb7aa78-78d1-435f-8d29-c163878c73f0
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
4.5 创建分布式复制卷
指定类型为replica,数值为2,而且后面跟了4个brick server,是2 的量悲哀,所以创建的是分布式复制卷
[root@node1 ~] # gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
[root@node1 ~] # gluster volume start dis-rep
volume start: dis-rep: success
[root@node1 ~] # gluster volume info dis-rep
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: 734e38e6-154c-4425-acca-2342577b14e7
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
=======================
[root@node1 ~] # gluster volume list
dis-rep
dis-stripe
dis-volume
rep-volume
stripe-volume