GFS分布式文件系统及部署

一、GlusterFS

• 是一个开源的分布式文件系统
• 由存储服务器，客户端以及NFS/Samba存储网关组成
• 无元数据服务器

1、FS文件系统的组成

• 文件系统接口
• 对对象管理的软件集合
• 对象及属性

二、GFS特点

①扩展性和高性能
②高可用性
③全局统一命名空间
④弹性卷管理
⑤基于标准协议

三、GFS术语

• Brick（块存储服务器）实际存储用户数据的服务器
• Volume 本地问价系统的“分区”
• FUSE 用户空间的文件系统（类别EXT4），“这是一个伪文件系统”，用户端的交换模块
• VFS（虚拟端口）内核态的虚拟文件系统，用户是提交请求给VFS然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给圆的存储
• Glusterd（服务）是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd完成

四、GFS构成

• API：应用程序编程接口
• 模块化：每个模块可以提供不同的功能
• 堆栈式：同时启用多个模块，多个功能可以组合，实现复杂的功能

五、后端存储如何定位文件

• 弹性HASH算法：
  ①通过HASH算法得到一个固定长度的数据（这里是32位整数）
  ②通常情况下，不同数据得到的结果是不同的
• 为了解决分布式问价数据索引、定位的复杂程度，而使用了HASH算法来辅助

六、GFS支持的七种卷

1、分布式卷（默认）：文件通过HASH算法分布到所有Brick Server上，这种卷是GFS的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，并不具备容错能力，属于文件raid 0

2、条带卷（默认）：类似raid 0，文件被分成数据库并以轮询的方式分布到多个Brick Server上，文件存储以数据快为单位，支持大文件存储，文件越大读取效率越高

3、复制卷（Replica volume）：将文件同步到多个Brick上，使其具备多个文件副本，属于文件级raid 1具有容错能力。因为数据分散在多个brick中，所以读性能得到很大提升，但写性能下降

4、分布式条带卷（Distribute Stripe volume）：brick server 数量是条带数（数据块分布的brick数量）的倍数，兼备分布式卷和条带的特点

5、分布式复制卷（Distribute Relica volume）：brick server数量是镜像数（数据副本 数量）的倍数，兼备分布式卷和复制卷的特点

6、条带复制卷（Stripe Replca volume）：类似 raid 1 0.同时具有条带卷和复制卷的特点

7、分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷通常用于类MapReduce应用

七、GFS搭建部署

1、首先、每台节点添加4块磁盘

Node1节点：node1/192.168.159.110		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点：node2/192.168.159.120		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点：node3/192.168.159.130		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点：node4/192.168.159.140 	  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

2、在所有节点进行磁盘挂载，安装本地资源

[root@node1 ~]# vim /opt/fdisk.sh
#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'    
echo "=================================================="
PS3="chose which disk you want to create:"
 ##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit   
do
    case $VAR in
    sda)
 ##本地磁盘就退出case语句
        fdisk -l /dev/sda   
        break ;;
    sd[b-z])
        #create partitions
        echo "n    ##创建磁盘
                p
                
                
           
                w"  | fdisk /dev/$VAR
 
        #make filesystem
##格式化
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null    
	#mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
###使得挂载生效
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done
[root@node1 opt]#chmod +x fdisk.sh
[root@node1 opt]#./fdisk.sh
[root@node1 opt]#  echo "192.168.159.110 node1" >> /etc/hosts
[root@node1 opt]#  echo "192.168.159.120 node2" >> /etc/hosts
[root@node1 opt]#  echo "192.168.159.130 node3" >> /etc/hosts
[root@node1 opt]#  echo "192.168.159.140 node4" >> /etc/hosts
                      

[root@node1 opt]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo    CentOS-Vault.repo
CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Sources.repo
[root@node1 yum.repos.d]# mkdir repo.bak
[root@node1 yum.repos.d]# mv CentOS-* repo.bak
[root@node1 yum.repos.d]# vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
[root@node1 yum.repos.d]# yum clean all && yum makecache
已加载插件：fastestmirror, langpacks
正在清理软件源： glfs
Cleaning up list of fastest mirrors
Other repos take up 1.2 G of disk space (use --verbose for details)
已加载插件：fastestmirror, langpacks
Determining fastest mirrors
glfs                                                                      | 2.9 kB  00:00:00     
(1/3): glfs/primary_db                                                    |  92 kB  00:00:00     
(2/3): glfs/other_db                                                      |  46 kB  00:00:00     
(3/3): glfs/filelists_db                                                  |  62 kB  00:00:00     
元数据缓存已建立
[root@node1 gfsrepo]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@node1 gfsrepo]# systemctl start glusterd
[root@node1 gfsrepo]# systemctl enable glusterd
[root@node1 gfsrepo]# systemctl status glusterd
● glusterd.service - GlusterFS, a clustered file-system server
   Loaded: loaded (/usr/lib/systemd/system/glusterd.service; disabled; vendor preset: disabled)
   Active: active (running) since 五 2021-08-13 20:55:05 CST; 5s ago
  Process: 10588 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 10589 (glusterd)
    Tasks: 8
   CGroup: /system.slice/glusterd.service
           └─10589 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO

8月 13 20:55:05 node1 systemd[1]: Starting GlusterFS, a clustered file-system server...
8月 13 20:55:05 node1 systemd[1]: Started GlusterFS, a clustered file-system server.

3、添加节点创建集群

添加节点到存储信任池中

[root@node1 ~] # gluster peer probe node1
peer probe: success. Probe on localhost not needed
[root@node1 ~] # gluster peer probe node2
peer probe: success. 
[root@node1 ~] # gluster peer probe node3
peer probe: success. 
[root@node1 ~] # gluster peer probe node4
peer probe: success. 

[root@node1 ~] # gluster peer status
Number of Peers: 3

Hostname: node2
Uuid: 2ee63a35-6e83-4a35-8f54-c9c0137bc345
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: e63256a9-6700-466f-9279-3e3efa3617ec
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: 9931effa-92a6-40c7-ad54-7361549dd96d
State: Peer in Cluster (Connected)

4、根据规划创建卷

========根据以下规划创建卷=========
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

4.1 创建分布式卷

[root@node1 opt]# gluster volume create dis-volume node1:/data/sdb1 node3:/data/sdb1 force
volume create: dis-volume: success: please start the volume to access data
[root@node1 opt]# gluster volume list
dis-volume
[root@node1 opt]# gluster volume start dis-volume
volume start: dis-volume: success
[root@node1 opt]# gluster volume info dis-volume
 
Volume Name: dis-volume
Type: Distribute
Volume ID: dcee994f-a69a-49dd-8799-241259f2991d
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node3:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

4.2 创建条带卷

[root@node1 opt]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node3:/data/sdc1 force
volume create: stripe-volume: success: please start the volume to access data
[root@node1 opt]# gluster volume start stripe-volume
volume start: stripe-volume: success
[root@node1 opt]# gluster volume info stripe-volume
 
Volume Name: stripe-volume
Type: Stripe
Volume ID: 631cc253-d0c8-4cff-be86-5380827a5479
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node3:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

4.3 创建复制卷

[root@node2 opt]# gluster volume create rep-volume replica 2 node2:/data/sdb1 node4:/data/sdb1 force
volume create: rep-volume: success: please start the volume to access data
[root@node2 opt]# gluster volume start rep-volume
volume start: rep-volume: success
[root@node2 opt]# gluster volume info rep-volume
 
Volume Name: rep-volume
Type: Replicate
Volume ID: 2e1f2d7b-b34b-40c1-ba5c-9a2e298a964d
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node2:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

4.4 创建分布式条带卷
指定类型为stripe，数值为2，而且后面跟了4个brick server，是2的两倍，所以创建的是分布式条带卷

[root@node1 ~] # gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data

[root@node1 ~] # gluster volume start dis-stripe
volume start: dis-stripe: success

[root@node1 ~] # gluster volume info dis-stripe
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: beb7aa78-78d1-435f-8d29-c163878c73f0
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

4.5 创建分布式复制卷
指定类型为replica，数值为2，而且后面跟了4个brick server，是2 的量悲哀，所以创建的是分布式复制卷

[root@node1 ~] # gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data

[root@node1 ~] # gluster volume start dis-rep
volume start: dis-rep: success

[root@node1 ~] # gluster volume info dis-rep 
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: 734e38e6-154c-4425-acca-2342577b14e7
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

=======================
[root@node1 ~] # gluster volume list
dis-rep
dis-stripe
dis-volume
rep-volume
stripe-volume