分布式文件系统的另一个成员：GFS

最新推荐文章于 2022-06-14 17:10:13 发布
最新推荐文章于 2022-06-14 17:10:13 发布
阅读量241 收藏
点赞数
分类专栏： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuhao930715/article/details/119674199
版权

目录

一、概述

1、开源的分布式文件系统
2、由存储服务器（块block服务器）、客户端及NFS/Samba存储网关组成
3、无元数据服务器
4、模块化、堆栈式建构
5、通过模块的组合，实现复杂的功能

二、特点

一、分布式特点

1、扩展性和高性能
2、高可用性

二、GFS特点

1、全局同一命名空间（共享资源）
2、弹性管理卷（RAID）
3、基于标准协议（客户端和存储服务器之间交互需要借助网络）

三、术语

术语含义
brick存储服务器：实际存储用户数据的服务器
volume本地文件系统的"分区”
FUSE用户空间的文件系统（类比EXT4）（伪文件系统)以本地文件系统为例，用户想要读写一个文件，会借助于EXT4文件系统，然后把数据写在磁盘上而如果是远端的GFS，客户端的请求则应该交给FUSE（伪文件系统），就可以实现跨界点存储在GFS上
FUSE（用户空间的文件系统）伪文件系统用户端的交互模块
VFS（虚拟端口)内核态的虚拟文件系统，用户是先提交请求交给VFS然后VFS交给FUSE再交给GFS客户端,最后由客户端交给远端的存储

四、GFS工作过程

在这里插入图片描述
Application
客户端或应用程序通过GlusterFSync的挂载点访问数据。
VFS
linux系统内核通过VFS API收到请求并处理。
FUSE
VPS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GFS client端。
GFS Client
通过网络将数据传递至远端的GFS Server，并且写入到服务器存储设备上。

一、写

客户端在本地发出读写请求，然后交由VFS 的API接受请求，接受请求后会交给FUSE(内核伪文件系统)，FUSE可以模拟操作系统，所以可以对文件系统进行转存，转存的设备位置为:/dev/fuse(用于传输的设备-虚拟设备文件)交给GFs客户端，client会根据配置文件对数据进行处理，然后再通过TCP/ib/rdma网络发送到GFs服务端，并且将数据写到服务器存储设备上。

二、读

通过page函数调用模块read，读取缓存，如果缓存没有，gfs就数据保存到缓存中。

五、如何提高GFS工作效率

1、gige: 千兆网/干兆接口
2、TCP/IP：网络协议
3、InfiniBand：网络协议，与TCP/IP相比，TCP/IP具有转发丢失数据包的特性，基于此通讯协议可能导致通讯变慢，而1s使用基于信任的、流控制的机制来确保连接完整性，数据包丢失几率小。
4、RDMA：负责数据传输,有一种数据传输协议。
功能:为了解决传输中客户端与服务器端数据处理的延迟。
5、POSIX：可移植操作系统接口，主要解决不同操作系统间的移植性。
6、转换为逻辑存储（EXT4 +BRICK)。

六、卷分类

GFS支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。

一、分布式卷

分布式卷（默认）:文件通过HASH算法分布到所有 Brick Server 上，是GFS的基础。以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的RAID 0，不具有容错能。
ps
两个brick中，文件的存放：n-1:1

二、条带卷

条带卷（默认)：类似RAID0，文件被分成数据块并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高。
ps
文件的存放：1:1

三、复制卷

复制卷(Replica volume)：将文件同步到多个Brick 上，使其具备多个文件副本，属于文件级RAID1，具有容错能力。因为数据分散在多个Brick 中，所以读性能得到很大提升，但写性能下降。
ps
文件存放为brick服务器中的文件一致，冗余。

四、分布式条带卷

分布式条带卷(Distribute Stripe volume) : Brick Server 数量是条带数（数据块分布的Brick数量)的倍数，兼具分布式卷和条带卷的特点。

五、分布式复制卷

分布式复制卷（Distribute Replica volume) : Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。

六、条带复制卷

条带复制卷（stripe Replica volume):类似RAID 10，同时具有条带卷和复制卷的特点。

七、分布式条带复制卷

分布式条带复制卷(Distribute stripe Replicavolume):三种基本卷的复合卷，通常用于类Map Reduce应用。

七、实验

一、部署

实验环境
GFS:
	Node1：129.168.238.150
	Node2：129.168.238.100
	Node3：129.168.238.99
	Node4：129.168.238.133
client：192.168.238.134

四台GFS节点

[root@node1 opt]# cd /opt
[root@node1 opt]# vim fdisk.sh #创建分区脚本
#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
 ##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
    case $VAR in
    sda)
 ##本地磁盘就退出case语句
        fdisk -l /dev/sda
        break ;;
    sd[b-z])
        #create partitions
        echo "n    ##创建磁盘
                p
                
                
           
                w"  | fdisk /dev/$VAR

        #make filesystem
##格式化
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
        #mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
###使得挂载生效
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done

[root@node1 opt]# chmod +x fdisk.sh #赋予可执行权限
[root@node1 opt]# ./fdisk.sh #进行磁盘分区
[root@node1 opt]# df -Th #查看分区和挂载

在这里插入图片描述

[root@node1 opt]# vim /etc/hosts #每个节点做地址映射

在这里插入图片描述
安装GFS

[root@node1 opt]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# mkdir repo.bak
[root@node1 yum.repos.d]# mv *.repo repo.bak
[root@node1 yum.repos.d]# cd /opt
[root@node1 opt]# rz #上传gfsrepo软件包
[root@node1 opt]# unzip gfsrepo.zip #解包
[root@node1 opt]# vim /etc/yum.repos.d/gfs.repo #配置yum本地源
[glfs] 
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0 #不做检测
enabled=1 #启用

[root@node1 opt]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# yum clean all && yum makecache
[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma #yum安装GFS及其组件
[root@node1 yum.repos.d]# systemctl start glusterd #开启服务
[root@node1 yum.repos.d]# netstat -antp | grep glusterd #查看端口
tcp        0      0 0.0.0.0:24007           0.0.0.0:*               LISTEN      20705/glusterd 
[root@node1 yum.repos.d]# ntpdate ntp1.aliyun.com #同步阿里云时钟服务器

添加节点到存储信任池中 （在node1中添加）
[root@node1 yum.repos.d]# gluster peer probe node1
[root@node1 yum.repos.d]# gluster peer probe node2
[root@node1 yum.repos.d]# gluster peer probe node3
[root@node1 yum.repos.d]# gluster peer probe node4
#在每台node节点中查看
[root@node1 yum.repos.d]# gluster peer status #查看集群状态

在这里插入图片描述

二、创建卷

根据规则划分：

卷名称卷类型Brick
dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)
rep-volume复制卷node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe分布式条带卷node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep分布式复制卷node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

一、分布式卷

[root@node1 yum.repos.d]# gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force #创建分布式卷，没有指定类型，默认创建的是分布式卷

在这里插入图片描述

[root@node1 yum.repos.d]# gluster volume list #查看卷列表

在这里插入图片描述

[root@node1 yum.repos.d]# gluster volume start dis-volume #启动新建的分布式卷
[root@node1 yum.repos.d]# gluster volume info dis-volume #查看出创建的分布式卷的信息

在这里插入图片描述

二、条带卷

[root@node1 yum.repos.d]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force #创建条带卷

在这里插入图片描述

[root@node1 yum.repos.d]# gluster volume start stripe-volume #开启条带卷
[root@node1 yum.repos.d]# gluster volume info stripe-volume #查看创建的条带卷信息

在这里插入图片描述

三、复制卷

[root@node1 yum.repos.d]# gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force #创建复制卷
[root@node1 yum.repos.d]# gluster volume start rep-volume #开启卷
[root@node1 yum.repos.d]# gluster volume info rep-volume 查看卷

在这里插入图片描述

四、分布式条带卷

[root@node1 yum.repos.d]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force #创建卷
[root@node1 yum.repos.d]# gluster volume start dis-stripe #快开启卷
[root@node1 yum.repos.d]# gluster volume info dis-stripe #查看卷

在这里插入图片描述
在这里插入图片描述

五、分布式复制卷

[root@node1 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force #创建卷
[root@node1 yum.repos.d]# gluster volume start dis-rep #开启卷
[root@node1 yum.repos.d]# gluster volume info dis-rep #查看卷

在这里插入图片描述

八、验证

一、部署客户端

[root@localhost ~]# cd /opt
[root@localhost opt]# rz #上传软件包
[root@localhost opt]# unzip gfsrepo.zip #解包
[root@localhost opt]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# mkdir repo.bak
[root@localhost yum.repos.d]# mv *.repo repo.bak
[root@localhost yum.repos.d]# vim glfs.repo

在这里插入图片描述

[root@localhost yum.repos.d]# ntpdate ntp.aliyun.com #同步时间
13 Aug 22:05:28 ntpdate[22083]: adjust time server 203.107.6.88 offset 0.000712 sec
[root@localhost yum.repos.d]# yum clean all && yum makecache
[root@localhost yum.repos.d]# yum -y install glusterfs glusterfs-fuse #更新软件包

创建挂载目录

[root@localhost yum.repos.d]# mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}

在这里插入图片描述
域名映射

[root@localhost yum.repos.d]# vim /etc/hosts

在这里插入图片描述
挂载目录

[root@localhost yum.repos.d]# mount.glusterfs node1:dis-volume /test/dis
[root@localhost yum.repos.d]# mount.glusterfs node1:stripe-volume /test/stripe
[root@localhost yum.repos.d]# mount.glusterfs node1:rep-volume /test/rep
[root@localhost yum.repos.d]# mount.glusterfs node1:dis-stripe /test/dis_stripe
[root@localhost yum.repos.d]# mount.glusterfs node1:dis-rep /test/dis_rep

在这里插入图片描述

[root@localhost yum.repos.d]# cd /opt
[root@localhost opt]# dd if=/dev/zero of=/opt/demo1.log bs=1M count=20
[root@localhost opt]# dd if=/dev/zero of=/opt/demo2.log bs=1M count=20
[root@localhost opt]# dd if=/dev/zero of=/opt/demo3.log bs=1M count=20
[root@localhost opt]# dd if=/dev/zero of=/opt/demo4.log bs=1M count=20
[root@localhost opt]# dd if=/dev/zero of=/opt/demo5.log bs=1M count=20

在这里插入图片描述

[root@localhost opt]# cp demo* /test/dis
[root@localhost opt]# cp demo* /test/stripe/
[root@localhost opt]# cp demo* /test/rep/
[root@localhost opt]# cp demo* /test/dis_stripe/
[root@localhost opt]# cp demo* /test/dis_rep/

1、分布式卷
在这里插入图片描述
2、条带卷
在这里插入图片描述
3、复制卷
在这里插入图片描述
4、分布式条带卷
在这里插入图片描述
5、分布式复制卷
在这里插入图片描述
在这里插入图片描述

九、破坏性测试

node2关闭服务
[root@node2 ~]# systemctl stop glusterd

查看客户端/test目录下的文件
在这里插入图片描述
由上图可见，只有带有复制卷的才有冗余，文件才安全。

维护命令
#查看GlusterFS卷
gluster volume list 

#查看所有卷的信息
gluster volume info

#查看所有卷的状态
gluster volume status

#停止一个卷
gluster volume stop dis-stripe

#删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

#设置卷的访问控制
##仅拒绝
gluster volume set dis-rep auth.deny 192.168.238.150

##仅允许
gluster volume set dis-rep auth.allow 192.168.238.*	  #设置192.168.238.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

小结：
分布式卷：数据没有被分片，没有冗余
条带卷：数据被分片50%，没有冗余
复制卷：数据没有被分片，有冗余
分布式条带卷：数据被分片50%，没有冗余
分布式复制卷：数据没有被分片，有冗余

酱香小龙虾
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GFS 分布式文件系统
自由
10-06 412
一、GlusterFS概述 1．GlusterFS简介 GlusterFS 是一个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。 没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。 MFS 传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 G
GFS分布式文件系统（理论）
Ab960311的博客
11-17 1149
目录 一.GFS概述 1、文件系统 ①、文件系统组成 ②、文件系统的作用 ③.GFS专业术语 ④、 GFS 的特点 二.GFS工作原理 三.GFS 卷类型 ①.卷类型 一.GFS概述 1、文件系统 ①、文件系统组成 文件系统接口（API） 对对象管理的软件集合 对象及属性 ②、文件系统的作用 从系统角度来看，文件系统是对文件存储设备的空间进行组织和备份 负责文件存储并对存入的文件进行保护和检索的系统 具体地说，它负责为用户建立文件、存入、读出、修改、转储文...
GlusterFS 分布式文件系统
不要因为走的太远而忘了为什么出发
11-16 2498
目录引言一、文件系统简介1. 组成2. 作用3. 文件系统的挂载使用二、GFS 分布式文件系统概述1. GFS 简介2. GFS 的特点3. GFS 专业术语4. 模块化堆栈式架构5. GFS 工作流程6. 各服务器详解三、GFS 卷类型1. 分布式卷（Distribute volume）1.2 分布式卷示例原理1.3 分布式卷特点1.4 创建分布式卷2. 条带卷 （Stripe volume）2.1 条带卷示例原理2.2 条带卷特点2.3创建条带卷3. 复制卷（Replica volume）3.1 复制卷
GFS文件系统存储
YsDou的博客
11-22 1754
目录 一、GFS文件系统 1.组成 2.文件系统作用 3.文件系统的挂载使用 二、GFS分布式文件系统 1.简介 2.元数据服务器的作用 3.GlusterFS特点 4.GlusterFS术语 三、GlusterFS模块化堆栈式架构 1.模块化 2.堆栈式架构设计 3.模块 四、GFS工作流程 1.GFS-server端 2.GFS-client端 3.网络通讯 4.详细流程 5.读取过程 五、配置GFS 1.基本设置 2.安装GFS分布式文件系统（所有节点）
GFS分布式文件系统
qq_52914969的博客
06-14 240
开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关(可选，根据需要选择使用)组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。 1.2、特点 扩展性和高性能 高可用性 全局统一命名空间 弹性卷管理 基于标准协议 1.3、GlusterFS术语 Brick (存储块) : volume (逻辑卷) FUSE VFS Glusterd (后台管理
浅解GFS
weixin_30311605的博客
04-18 150
近期，有幸拜读了Hadoop起源 Google三驾马车之一，GFS这篇论文，无奈知识有限，许多内容都不甚清楚，但总归还是有一些自己的浅见，难登大雅之堂，仅作为以后深入学习的一个回顾。 说起GFS，不得不提到分布式这个概念。早期的互联网不像现在这样发达，也没有现在这样先进，设想一种情况，20年前，双十一有如今这样的火爆，访问量更是数以亿级，相当于一次大规模的DDoS攻击...
Config_OCFS2_GFS2.zip_gfs2
09-23
在IT领域，分布式文件系统是实现大规模数据存储和共享的关键技术。OCFS2（Oracle Cluster File System Version 2）和GFS2（Global File System 2）是两种广泛使用的集群文件系统，它们允许多台服务器共享同一份文件...
系统集成项目管理工程师考前冲刺重点
10-20
谷歌文件系统（GFS）和 Hadoop 的分布式文件系统奠定了大数据存储技术的基础 HBASE、MapReduce 算法。 大数据 5V 特点： 1. Volume（大量） 2. Velocity（高速） 3. Variety（多样） 4. Value（价值） 5. Veracity...
global fs简单测试总结
08-05
GFS2，全称为Global File System Version 2，是一种分布式文件系统，设计用于在多个计算节点间提供共享存储。本测试主要关注GFS2的元数据管理性能，即评估其在单位时间内能够创建的文件数量。 **测试目的：** 测试...
搭建GFS分布式文件系统
12-15
一、GlusterFS概述； 二、GlusterFS存储架构； 三、GlusterFS工作原理； 四、GlusterFS卷的类型； 五、案例：搭建Gluster分布式文件系统
随堂测验1 简介 HDFS.pptx
01-05
分布式文件系统可以是主从结构，如HDFS，其中一个节点作为NameNode（主节点），其他节点作为DataNodes；也可以是对等结构，如(peer-to-peer) P2P网络；或者主从、对等混合结构。HDFS采用的是主从结构，Master节点...
基于Hadoop集群平台的计算架构.pdf
最新发布
11-24
HDFS 是一个高度容错的分布式文件系统，能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大小。HDFS 采用 Master/Slave 架构，一个 HDFS 集群由一个 Namenode 和一定数目的 Datanodes 组成。Namenode 是一个...
理论+实验 详解GFS分布式文件系统
Mr_ChenWJ的博客
10-27 641
目录一 GlusterFS概述1.1 GlusterFS简介1.2 GlusterFS特点1.3 模块化堆栈式架构二 GlusterFS工作原理2.1 GLusterFS工作流程2.2 弹性HASH算法三 GlusterFS的卷类型3.1分布式卷3.1.1分布式卷3.1.2分布式卷的特点3.1.3创建分布式卷3.2条带卷3.2.1条带卷3.2.2条带卷的特点3.2.3创建条带卷3.3复制卷3.3.1复制卷3.3.2复制卷的特点3.3.3创建复制卷3.4分布式条带卷3.4.1分布式条带卷的特点3.4.2创建分
GFS分布式文件系统简介（各类型卷的介绍及部署）
weixin_47153988的博客
09-14 1420
文章目录一、GlusterFS概述1.1 GlusterFS简介1.2 GlusterFS特点1.3 GlusterFS术语1.4 模块化堆栈式架构1.5 GlusterFS工作原理1.6 GlusterFS的卷类型二、GFS平台部署2.1 实验环境2. 2 GFS平台部署 一、GlusterFS概述 1.1 GlusterFS简介 Gluster File System，开源的分布式文件系统，是Scale存储的核心,能够处理千数量级的客户端.在传统的解决 方案中Glusterfs能够灵活的结合物理的,虚
GFS（GlusterFS）分布式文件系统（工作原理、部署步骤详解）
Chenwei的博文
03-02 6133
GFS（GlusterFS）分布式文件系统（工作原理、部署步骤详解） @toc 一、GlusterFS 概述 1.1 GlusterFS 简介 GlusterFS 是一个开源的分布式文件系统，主要由存储服务器（BrickServer）、客户端及 NFS/Samba 存储网关（可选， 根据需要选择使用）组成。GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。 GlusterFS借助TC
简述 GFS & Chubby & Bigtable & Mapreduce
Bule_daze的博客
12-16 5425
分布式文件系统GFS Chubby锁服务 Bigtable的数据模型和系统架构 分布式计算编程模型Mapreduce Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为 Google云计算提供海量存储，并且与Chubby、MapReduce 及 Bigtable 等技术结合十分紧密，处于所有核心技术的底层。 GFS ...
GFS文件系统研究
Luckysuns的专栏
07-06 868
1.    关于GFS文件系统的概念GFS的全称是Google File System,为了满足Google迅速增长的数据处理要求，Google设计并实现的Google文件系统（GFS）。Google文件系统是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务，也可以提供容错功能。
zookeeper、kafka及EFK
wuhao930715的博客
08-18 742
目录一、实验环境二、部署zookeeper三、部署kafka四、部署EFK一、部署Elasticsearch二、部署elasticsearch-head三、部署kibana四、部署logstash五、部署Filebeat五、验证 一、实验环境 在这里插入代码片 二、部署zookeeper 在这里插入代码片 三、部署kafka 在这里插入代码片 四、部署EFK 一、部署Elasticsearch 在这里插入代码片 二、部署elasticsearch-head 在这里插入代码片 三、部署kibana
分布式文件系统详解：GFS、HDFS、TFS、Haystack
- **Haystack**：Facebook开发的一个分布式存储系统，主要用于存储和检索半结构化数据，如日志和元数据，特别适合大规模数据分析和检索。 这些分布式文件系统在设计时都考虑到了扩展性、容错性和高性能，它们是现代...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值