GFS分布式文件系统概述以及集群部署

最新推荐文章于 2023-12-14 22:33:10 发布
最新推荐文章于 2023-12-14 22:33:10 发布
阅读量357 收藏 1
点赞数
文章标签： gfs 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55609944/article/details/118797304
版权

GFS分布式文件系统

一、GlusterFS简介

  • 开源的分布式文件系统
  • 由存储服务器、客户端以及NFS/Samba 存储网关组成
  • 无元数据服务器有助于提升整个系统的性能、可靠性和稳定性

传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在--些缺陷，例如单点故障。--旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而GlusterFS 分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性及存储效率。

GlusterFS同时也是Scale-Out (横向扩展)存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。

GlusterFS支持借助TCP/ IP或InfiniBandRDMA网络(一- 种支持多并发链接的技术，具有高带宽、低时延、高扩展性的特点)将物理分散分布的存储资源汇聚在一起，统一提供存储服务，并使用统一全局命名空间来管理数据

文件系统组成：

  1. 文件系统接口
  2. 对对像管理的软件集合
  3. 对象及属性

二、GlusterFS特点

  • 扩展性和高性能
    GlusterFS利用双重特性来提供高容量存储解决方案
  1. Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能(磁盘、计算和I/o资源都可以独立增加)，支持10GbE和InfiniBand等 高速网络互联
  2. Gluster弹性哈希( ElasticHash)解决了GlusterFS对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实现了并行化数据访问。GlusterFS采用弹性哈希算法在存储池中可以智能地定位任意数据分片(将数据分片存储在不同节点上)，不需要查看索引或者向元数据服务器查询
  • 高可用性
  1. GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问
  2. 当数据出现不一致时，自我修复功能能够把数据恢复到正确的状态，数据的修复是以增量的方式在后台执行，几乎不会产生性能负载
  3. GlusterFS可以支持所有的存储，因为它没有设计自己的私有数据文件格式，而是采用操作系统中主流标准的磁盘文件系统( 如EXT3、XFS等)来存储文件，因此数据可以使用传统访问磁盘的方式被访问
  • 全局统一命名空间
  1. 分布式存储中，将所有节点的命名空间整合为统一命名空间，将整个系统的所有节点的存储容量组成一个大的虚拟存储池，供前端主机访问这些节点完成数据读写操作
  • 弹性卷管理
  1. GlusterFs通过将数据储存在逻辑卷中，逻辑卷从逻辑存储池进行独立逻辑划分而得到。
  2. 逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根据需求在线增长和缩减，并可以在多个节点中实现负载均衡
  3. 文件系统配置也可以实时在线进行更改并应用，从而可以适应工作负载条件变化或在线性能调优。
  • 基于标准协议
  1. Gluster存储服务支持NFS、CIFS、HTTP、FTP、SMB及Gluster原生协议，完全与POSIX标准(可移植操作系统接口)兼容
  2. 现有应用程序不需要做任何修改就可以对Gluster中的数据进行访问，也可以使用专用API进行访问

三、GlusterFS术语

  • Brick（块存储服务器）实际存储用户数据的服务器

  • Volume本地文件系统的"分区"

  • FUSE用户空间的文件系统（类别EXT4），”这是一个伪文件系统“，用户端的交换模块

  • VFS（虚拟端口）内核态的虚拟文件系统，用户是提交请求给VFS 然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远端的存储

  • Glusterd（服务）是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成

四、GlusterFS的工作流程

  1. 客户端或应用程序通过GlusterFS的挂载点访问数据。

  2. linux系统内核通过VFS API收到请求并处理。

  3. VES将数据递交给FUSE内核文件系统，并向系统注册一个实际的文件系统FUSE，而FUSE文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client 端。可以将FUSE文件系统理解为一个代理。

  4. GlusterFS client收到数据后，client根据配置文件的配置对数据进行处理。

  5. 经过GlusterFS client 处理后，通过网络将数据传递至远端的GlusterFS Server，并且将数据写入到服务器存储设备上。

五、弹性HASH算法

  • 弹性HASH算法是Davies-Meyer 算法的具体实现，通过HASH算法可以得到一个32 位的整数范围的hash值,假设逻辑卷中有N个存储单位Brick，则32位的整数范围将被划分为N个连续的子空间，每个空间对应一个Brick。
  • 当用户或应用程序访问某-一个命名空间时，通过对该命名空间计算HASH值，根据该HASH值所对应的32位整数空间定位数据所在的Brick

弹性HASH算法的优点

  1. 保证数据平均分布在每一一个Brick 中。
  2. 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈。

六、GFS支持的七种卷

  1. 分布式卷（默认）：文件通过HASH算法分布到所有Brick Server上，这种卷是GFS的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，并不具备容错能力，属于文件级RAID 0

  2. 条带卷（默认）：类似RAID 0，文件被分成数据库并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高

  3. 复制卷（Replica volume）：将文件同步到多个Brick上，使其具备多个文件副本，属于文件级RAID 1，具有容错能力。因为数据分散在多个Brick中，所以读性能得到很大提升，但写性能下降

  4. 分布式条带卷（Distribute Stripe volume）：Brick Server数量是条带数（数据块分布的Brick数量）的倍数，兼具分布式卷和条带的特点

  5. 分布式复制卷（Distribute Replica volume）：Brick Server数量是镜像数（数据副本 数量）的倍数，兼具分布式卷和复制卷的特点

  6. 条带复制卷（Stripe Replca volume）：类似RAID 10，同时具有条带卷和复制卷的特点

  7. 分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷通常用于类Map Reduce应用

七、GFS部署

1、环境准备

在这里插入图片描述

每个节点添加新的四块硬盘，仅做实验不需要太多

Node1节点：node1/192.168.22.100	     磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点：node2/192.168.22.110		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点：node3/192.168.22.119	     磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点：node4/192.168.22.120  	 磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

=====客户端节点：192.168.22.123=====

2、更改节点名称

  • node 1 节点
    在这里插入图片描述
  • node 2 节点
    在这里插入图片描述
  • node 3 节点
    在这里插入图片描述
  • node 4 节点
    在这里插入图片描述
关闭每个节点的防火墙

systemctl stop firewalld
setenforce 0

3、节点进行磁盘挂载，安装本地源

这个在node 1 节点上先做一个脚本，然后我们可以通过 scp 语句将这个脚本复制到其他节点上，可以大大的加快效率

vim /opt/fdisk.sh

#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

在这里插入图片描述
在这里插入图片描述

scp  fdisk.sh  root@192.168.22.110:/opt
scp  fdisk.sh  root@192.168.22.119:/opt
scp  fdisk.sh  root@192.168.22.120:/opt

在这里插入图片描述

4、配置/etc/hosts文件

还是以node 1 节点为例
每一个节点都需要配置一次

echo "192.168.22.100 node1" >> /etc/hosts
echo "192.168.22.110 node2" >> /etc/hosts
echo "192.168.22.119 node3" >> /etc/hosts
echo "192.168.22.120 node4" >> /etc/hosts

在这里插入图片描述

在每个节点上都需要修改

unzip gfsrepo.zip 

cd  /etc/yum.repos.d


vim  local.repo

[local]
name=local
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl start glusterd.service
systemctl enable glusterd.service

在这里插入图片描述

5、添加节点创建集群

添加节点到存储信任池中（仅需在一个节点上操作，我这里依旧在node1节点上操作）

gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

gluster peer status

在这里插入图片描述

6、根据规划创建卷

========根据以下规划创建卷=========
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

八、创建分布式卷

创建分布式卷，没有指定类型，默认创建的是分布式卷

 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force

gluster volume list

gluster volume start dis-volume

gluster volume info dis-volume

在这里插入图片描述
在这里插入图片描述

九、创建条带卷

指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷

gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force

gluster volume start stripe-volume

gluster volume info stripe-volume

在这里插入图片描述

十、创建复制卷

指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷

gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force

gluster volume start rep-volume

gluster volume info rep-volume

在这里插入图片描述

十一、创建分布式条带卷

指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷

gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force


gluster volume start dis-stripe


gluster volume info dis-stripe

在这里插入图片描述

十二、创建分布式复制卷

指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷

gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1

gluster volume start dis-rep 

 gluster volume info dis-rep

在这里插入图片描述

十三、部署gluster客户端

将gfsrepo 软件上传到/opt  目录下
systemctl stop firewalld
setenforce 0
unzip gfsrepo.zip

cd  /etc/yum.repos.d
mkdir  repo.bak
mv *.repo  repo.bak

vim  glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install  glusterfs  glusterfs-fuse

1、创建挂载目录

mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
cd /test/

在这里插入图片描述

2、配置 /etc/hosts 文件

echo "192.168.22.100 node1" >> /etc/hosts
echo "192.168.22.110 node2" >> /etc/hosts
echo "192.168.22.119 node3" >> /etc/hosts
echo "192.168.22.120 node4" >> /etc/hosts

在这里插入图片描述

3、挂载 Gluster 文件系统

mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

十四、其他指令

1．查看GlusterFS卷
gluster volume list 

2．查看所有卷的信息
gluster volume info

3．查看所有卷的状态
gluster volume status

4．停止一个卷
gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

6．设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.allow 192.168.22.111

#仅允许
gluster volume set dis-rep auth.allow 192.168.22.*	  #设置192.168.22.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）
热心市民金先生灬
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
GFS分布式文件系统
咕咕咕daisy！
01-04 554
目录GlusterFS概述GlusterFS工作原理GlusterFS的卷类型分布式卷条带卷附：RAID 0 1 5 10 简单区别复制卷分布式条带卷分布式复制卷GlusterFS部著项目 GlusterFS概述 GlusterFS工作原理 GlusterFS的卷类型 部署群集环境 创建卷、部署客户端、测试文件系统 其他的维护命令 GlusterFS概述 GlusterFS简介 开源的分布式文件系统 由存储服务器、客户端以及NFS/Samba存储网关组成 无元数据服务器 GlusterFS特点 扩展
gluster使用——9种创建方法
不思考的笨鸟啊
07-03 4171
gluster学习：gluster把多个brick组成一个volume。根据所要组成的volume的存储方式不同，可以分为几种不同的组成方式：1.Distributed：分布式的，一个文件随机存储在一个的brick上，文件不能拆分。此时volume的容量是所有brick的和，没有冗余盘。默认是分布式的。创建一个Distributed:gluster volume create new 192.16...
38掌握分布式存储系统 GlusterFS 的基本用法，包括卷管理、数据复制
玩机科技社的博客
04-01 4068
使用 GlusterFS 进行数据迁移需要创建一个迁移卷，并将要迁移的数据从源存储服务器复制到迁移卷中，然后将数据从迁移卷复制到目标存储服务器。使用 GlusterFS 进行数据同步需要创建一个同步卷，并将所有存储服务器上的数据同步到同步卷中。这将显示 GlusterFS 卷的状态信息，包括存储服务器的状态、数据冗余情况、卷使用情况等。此命令将创建一个名为 test-volume 的卷，使用复制因子为 2，也就是说，每个文件都将被复制到两个不同的存储服务器上以实现数据冗余。
Gluster 常用操作命令
liuskyter
12-25 3283
Gluster 常用操作命令1. 启动/关闭/查看glusterd服务2. 为存储池添加/移除服务器节点3. 查看所有节点的基本状态（显示的时候不包括本节点）：4. 查询volume 信息5. [挂载分区](https://www.linuxprobe.com/mount-detail-parameters.html)6. 客户端以glusterfs方式挂载7. 创建/启动/停止/删除卷8. 查看卷信息列出集群中的所有卷：9. Server端创建复制卷10. Client端操作（NFS挂载、Glus
Glusterfs的常用命令
热门推荐
瓦釜苑
08-13 1万+
glusterfs一些常用的命令，包括服务器节点、卷、brick的操作
KVM+GFS分布式存系统构建KVM高可用
01-07
理论概述1.1：Glusterfs 简介1.2：Glusterfs 特点二：KVM高可用构建实操2.1：环境2.2：实验目的2.3：实验过程2.3.1：构建GFS集群2.3.2：安装KVM虚拟机2.3.3：GFS集群节点服务器添加磁盘2.3.4：KVM宿主机部署成GFS...
GeoServer集群部署及性能测试（在虚拟机上实现）
01-09
应用vmware在本地构建linux虚拟机集群，包括一个nginx节点，三个GeoServer节点，三个GlusterFS文件系统节点。 软件准备 1.geoserver软件(使用tomcat作为web容器) 2.nginx 3.glusterFS 虚拟系统准备 在vmware中克隆...
KVM+GFS构建KVM高可用群集案例
01-07
文章目录一、案例概述二、实验环境三、实验目的四、实验配置4.1、部署GFS分布式复制卷平台4.2、部署KVM虚拟化平台五、实验验证 所需安装包（GFS软件和XFTP软件包） 链接：...
Hadoop技术-Hadoop概述.pptx
11-02
2003年，谷歌陆续发表了三篇论文，展示了Google分布式文件系统（GFS）、分布式计算框架（MapReduce）、大数据分布式数据库（BigTable）。2006年，从Nutch剥离出来，形成Lucene子项目，命名为Hadoop。2008年，Hadoop...
大数据技术概述.pdf
12-24
分布式存储：⾕歌GFS和开源实现HDFS->⾕歌Big Table和开源版本Hase->NoSQL（键值、列族、图 形、⽂档数据库）->NewSQL。分布式处理：MapReduce->Spark->Flink。 ⼤数据计算模式 不同的计算模式需要使⽤不同的产品。...
集群好书《高性能Linux服务器构建实战》 试读章节下载
04-11
12.6.5　管理和维护GFS2文件系统 12.7　RHCS集群功能测试 12.7.1　高可用集群测试 12.7.2　存储集群测试 12.8　本章小结 第13章　Oracle RAC集群 13.1　Oracle集群体系结构 13.2　Oracle ClusterWare体系结构...
Hadoop生态环境(一).docx
10-30
- **Apache HDFS**：作为Hadoop的核心组件，HDFS提供了一个可靠的、可扩展的分布式文件系统。它灵感来源于Google File System (GFS)，并采用NameNode和DataNode的架构，通过ZooKeeper实现高可用性，避免单点故障。 ...
大数据导论大数据导论大数据导论
10-29
分布式存储计算架构（强烈推荐：Hadoop）分布式程序设计（包含：Apache Pig 或者 Hive）分布式文件系统（比如：Google GFS）多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo...
GlusterFS分布式复制卷搭建
wyl9527的博客
07-12 2301
目录 1 准备工作 1.1 每台机器添加一块磁盘 1.2 分区 1.3 格式化磁盘 1.4 挂载磁盘 2 安装GlusterFS 2.1安装依赖 2.2 安装glusterfs 2.3 启动服务 2.4 存储主机加入信任存储池 2.5 创建分布式复制卷 前面我们讲到过分布式卷的创建，这里准备工作都是一样的，直接复制过来 1 准备工作 1.1 每台机器添加一块磁盘 ...
Glusterfs 卷及常用命令总结
最新发布
ONEJ017的博客
12-14 1271
分布式存储，glusterfs
Setting up GlusterFS Volumes
weixin_34250434的博客
10-31 160
2019独角兽企业重金招聘Python工程师标准>>> ...
GFS分布式文件系统项目
05-19
GFS（Google File System）是谷歌公司开发的分布式文件系统，旨在提供高性能、可靠性和可扩展性。GFS最初是为支持谷歌的搜索引擎而开发的，后来成为了谷歌基础设施的一部分。GFS具有以下特点： 1. 大规模：GFS能够...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值